倒排索引

一 倒排索引是什么

倒排索引源于實際應(yīng)用中需要根據(jù)屬性的值來查找記錄，這種索引表中的每一個項都包括一個屬性值和具有該屬性值的各記錄的地址。由于不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而成為倒排索引。帶有倒排索引的文件我們稱之為倒排索引文件，簡稱倒排文件

二 舉例

例如有如下三個文件：

文件A：通過Python django搭建網(wǎng)站

文件B：通過Python scrapy爬取網(wǎng)站數(shù)據(jù)

文件C：scrapy-redis分布式爬蟲

現(xiàn)在我們要查詢，帶有Python的文件，正常是對每個文件進(jìn)行遍歷，每個文件遍歷一次，如果文件特別大，每個文件有一億個字符，總共有一億各文件，每個我們都要遍歷，非常消耗資源

在存儲文件之前，先對文件進(jìn)行分析，將文件分詞，對分詞建立索引，例如下面一句話

1 今天是星期天我們出去玩

2 明天是星期天，放假

3 今天天氣很晴朗

4 xxx

5 他們出去玩了

實際上es在做存儲的時候，更詳細(xì)，如下表

今天出現(xiàn)在哪個文章，出現(xiàn)的位置和出現(xiàn)的次數(shù)

三 倒排索引待解決的問題

1 大小寫轉(zhuǎn)換問題，如python和Python應(yīng)該為同一個詞

2 詞干抽取，looking和look應(yīng)該處理為同一個詞

3 分詞，如 屏蔽系統(tǒng) 是屏蔽 和系統(tǒng)兩個詞還是 為屏蔽系統(tǒng)一個詞

4 倒排索引文件過大，需要壓縮編碼

索引操作

具體操作可以查看官方文檔

https://www.elastic.co/guide/en/elasticsearch/reference/7.5/indices.html>

官方2版本的中文文檔

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index-settings.html

一 索引初始化

#新建一個lqz2的索引，索引分片數(shù)量為5，索引副本數(shù)量為1
PUT lqz2
{
  "settings": {
    "index":{
      "number_of_shards":5,
      "number_of_replicas":1
    }
  }
}
'''
number_of_shards
每個索引的主分片數(shù)，默認(rèn)值是 5 。這個配置在索引創(chuàng)建后不能修改。
number_of_replicas
每個主分片的副本數(shù)，默認(rèn)值是 1 。對于活動的索引庫，這個配置可以隨時修改。
'''

二 查詢索引配置

#獲取lqz2索引的配置信息
GET lqz2/_settings
#獲取所有索引的配置信息
GET _all/_settings
#同上
GET _settings
#獲取lqz和lqz2索引的配置信息
GET lqz,lqz2/_settings

三 更新索引

#修改索引副本數(shù)量為2
PUT lqz/_settings
{
  "number_of_replicas": 2
}
#如遇到報錯：cluster_block_exception，因為
#這是由于ES新節(jié)點的數(shù)據(jù)目錄data存儲空間不足，導(dǎo)致從master主節(jié)點接收同步數(shù)據(jù)的時候失敗，此時ES集群為了保護(hù)數(shù)據(jù)，會自動把索引分片index置為只讀read-only
PUT  _all/_settings
{
"index": {
  "blocks": {
    "read_only_allow_delete": false
    }
  }
}

四 刪除索引

#刪除lqz索引
DELETE lqz