日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后,達者為師

網站首頁 編程語言 正文

elasticsearch索引index之merge底層機制的合并講解_相關技巧

作者:zziawan ? 更新時間: 2022-06-20 編程語言

merge是lucene的底層機制,merge過程會將index中的segment進行合并,生成更大的segment,提高搜索效率。

segment是lucene索引的一種存儲結構,每個segment都是一部分數據的完整索引,它是lucene每次flush或merge時候形成。

每次flush就是將內存中的索引寫出一個獨立segment的過程。所以隨著數據的不斷增加,會形成越來越多的segment。

因為segment是不可變的,刪除操作不會改變segment內部數據,只是會在另外的地方記錄某些數據刪除,這樣可能會導致segment中存在大量無用數據。

搜索時,每個segment都需要一個reader來讀取里面的數據,大量的segment會嚴重影響搜索效率。

而merge過程,會將小的segment寫到一起形成一個大的segment,減少其數量。同時重寫過程會拋棄那些已經刪除的數據。因此segment的merge是有利于查詢效率的。

elasticsearch的merge其實就是lucene的merge機制。merge過程是lucene有一個后臺線程,它會根據merge策略來決定是否進行merge,一旦merge的條件滿足,就會啟動后臺merge。

merge策略分為兩種,這也是大多數大數據框架所采用的,segment的大小和segment中doc的數量。

以這兩個標準為基礎實現了三種merge策略:TieredMergePolicy、LogDocMergePolicy 及LogByteSizeMergePolicy。

elasticsearch這一部分就是對這三種合并策略的封裝,并提供了對于的配置。

它的實現方式如下所示:

底層mergeprovider實現了對三種合并策略的初始化和配置,并通過getMergePolicy()方法對外提供。

這三種合并策略中LogDocMergePolicy是根據doc數量進行合并,其它兩種都是根據segment的大小,只是TieredMergePolicy合并過程是分層進行,它會把小于某一值的所有segment合并成一個大的segment,然后再一次進行。

以上是合并策略,除了合并策略還有一個要說的就是合并線程。前面說過,merge是通過獨立線程完成的,lucene對于線程策略也有兩種,一種是順序,另外一種就是并發。

順序合并策略會阻止索引的進行,因此多數情況先不會使用,而并發合并則是和index過程同時進行,這樣不會影響索引和搜索。

elasticsearch同樣通過provider的形式提供這兩種合并線程配置。

merge能夠通過減少segment數量來提高搜索速度。但是merge的過程會對索引吞吐量及搜索速度有一定的影響,因此需要配置適當的合并策略參數。對于資源不足的環境,最好禁止自動merge,選擇空閑時段手動進行merge。

原文鏈接:https://www.cnblogs.com/zziawanblog/p/6876093.html

欄目分類
最近更新