網站首頁編程語言正文

Python中文分詞庫jieba(結巴分詞)詳細使用介紹_python

作者：TFATS ? 更新時間： 2022-06-09 編程語言

一，jieba的介紹

jieba 是目前表現較為不錯的 Python 中文分詞組件，它主要有以下特性：

支持四種分詞模式：
- 精確模式
- 全模式
- 搜索引擎模式
- paddle模式
支持繁體分詞
支持自定義詞典
MIT 授權協議

二，安裝和使用

1，安裝

pip3 install jieba

2，使用

import jieba

三，主要分詞功能

1，jieba.cut 和jieba.lcut

lcut 將返回的對象轉化為list對象返回

傳入參數解析：

def cut(self, sentence, cut_all=False, HMM=True, use_paddle=False):
# sentence: 需要分詞的字符串;
# cut_all: 參數用來控制是否采用全模式；
# HMM: 參數用來控制是否使用 HMM 模型;
# use_paddle: 參數用來控制是否使用paddle模式下的分詞模式，paddle模式采用延遲加載方式，通過enable_paddle接口安裝paddlepaddle-tiny

1）精準模式（默認）:

試圖將句子最精確地切開，適合文本分析

seg_list = jieba.cut("我來到北京清華大學", cut_all=False)
print("精準模式: " + "/ ".join(seg_list))  # 精確模式

# -----output-----
精準模式: 我/ 來到/ 北京/ 清華大學

2）全模式:

把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；

seg_list = jieba.cut("我來到北京清華大學", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

# -----output-----
全模式: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學

3）paddle模式

利用PaddlePaddle深度學習框架，訓練序列標注（雙向GRU）網絡模型實現分詞。同時支持詞性標注。
paddle模式使用需安裝paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。
目前paddle模式支持jieba v0.40及以上版本。
jieba v0.40以下版本，請升級jieba，pip installjieba --upgrade。?PaddlePaddle官網

import jieba

# 通過enable_paddle接口安裝paddlepaddle-tiny，并且import相關代碼；
jieba.enable_paddle()  # 初次使用可以自動安裝并導入代碼
seg_list = jieba.cut(str, use_paddle=True)
print('Paddle模式: ' + '/'.join(list(seg_list)))

# -----output-----
Paddle enabled successfully......
Paddle模式: 我/來到/北京清華大學

2，jieba.cut_for_search 和 jieba.lcut_for_search

搜索引擎模式

在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞

seg_list = jieba.cut_for_search("小明碩士畢業于中國科學院計算所，后在日本京都大學深造")  # 搜索引擎模式
print(", ".join(seg_list))

# -----output-----
小明, 碩士, 畢業, 于, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, ，, 后, 在, 日本, 京都, 大學, 日本京都大學, 深造

3，jieba.Tokenizer(dictionary=DEFAULT_DICT)

新建自定義分詞器，可用于同時使用不同詞典。jieba.dt 為默認分詞器，所有全局分詞相關函數都是該分詞器的映射。

import jieba
  
test_sent = "永和服裝飾品有限公司"
result = jieba.tokenize(test_sent) ##Tokenize：返回詞語在原文的起始位置
print(result)
for tk in result:
    # print ("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])    )
    print (tk)
    
# -----output-----

('永和', 0, 2)
('服裝', 2, 4)
('飾品', 4, 6)
('有限公司', 6, 10)

四，添加自定義詞典

開發者可以指定自己自定義的詞典，以便包含 jieba 詞庫里沒有的詞。雖然 jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率。

1，添加詞典用法：

 jieba.load_userdict(dict_path)    # dict_path為文件類對象或自定義詞典的路徑。

2，其中自定義字典舉例如下：

一個詞占一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。

創新辦 3 i
云計算 5
凱特琳 nz
中信建投
投資公司

3，使用自定義詞典示例：

1）使用自定義詞典文件

import jieba

test_sent = "中信建投投資公司投資了一款游戲,中信也投資了一個游戲公司"
jieba.load_userdict("userdict.txt")
words = jieba.cut(test_sent)
print(list(words))

#-----output------
['中信建投', '投資公司', '投資', '了', '一款', '游戲', ',', '中信', '也', '投資', '了', '一個', '游戲', '公司']

2）使用 jieba 在程序中動態修改詞典

import jieba

# 定義示例句子
test_sent = "中信建投投資公司投資了一款游戲,中信也投資了一個游戲公司"

#添加詞
jieba.add_word('中信建投')
jieba.add_word('投資公司')

# 刪除詞
jieba.del_word('中信建投')

words = jieba.cut(test_sent)
print(list(words))

#-----output------
['中信', '建投', '投資公司', '投資', '了', '一款', '游戲', ',', '中信', '也', '投資', '了', '一個', '游戲', '公司']

五，關鍵詞提取

1，基于TF-IDF算法的關鍵詞提取

1）TF-IDF接口和示例

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,allowPOS=())
其中需要說明的是：
- 1.sentence 為待提取的文本
- 2.topK 為返回幾個 TF/IDF 權重最大的關鍵詞，默認值為 20
- 3.withWeight 為是否一并返回關鍵詞權重值，默認值為 False
- 4.allowPOS 僅包括指定詞性的詞，默認值為空，即不篩選
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 實例，idf_path 為 IDF 頻率文件

import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content  = open('data.txt','r',encoding='utf-8').read()
tags = jieba.analyse.extract_tags(content,topK=10,withWeight=True,allowPOS=("nr")) 
print(tags)

# ----output-------
[('虛竹', 0.20382572423643955), ('丐幫', 0.07839419568792882), ('什么', 0.07287469641815765), ('自己', 0.05838617200768695), ('師父', 0.05459680087740782), ('內力', 0.05353758008018405), ('大理', 0.04885277765801372), ('咱們', 0.04458784837687502), ('星宿', 0.04412126568280158), ('少林', 0.04207588649463058)]

2）關鍵詞提取所使用逆向文件頻率（IDF）文本語料庫可以切換成自定義語料庫的路徑

用法：jieba.analyse.set_idf_path(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：

勞動防護 13.900677652 勞動防護 13.900677652 生化學 13.900677652 生化學 13.900677652 奧薩貝爾 13.900677652 奧薩貝爾 13.900677652 考察隊員 13.900677652 考察隊員 13.900677652 崗上 11.5027823792 崗上 11.5027823792 倒車檔 12.2912397395 倒車檔 12.2912397395 編譯 9.21854642485 編譯 9.21854642485 蝶泳 11.1926274509 外委 11.8212361103

3）關鍵詞提取所使用停止詞（Stop Words）文本語料庫可以切換成自定義語料庫的路徑

用法： jieba.analyse.set_stop_words(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：

import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content  = open(u'data.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))

4）關鍵詞一并返回關鍵詞權重值示例

import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content  = open(u'data.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10,withWeight=True)
print(tags)

2，詞性標注

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器，tokenizer參數可指定內部使用的 jieba.Tokenizer 分詞器。 jieba.posseg.dt 為默認詞性標注分詞器。
標注句子分詞后每個詞的詞性，采用和 ictclas 兼容的標記法。
用法示例

import jieba.posseg as pseg
words = pseg.cut("我愛北京天安門")
for word, flag in words:
    print('%s %s' % (word, flag))
    
# ----output--------
我 r
愛 v
北京 ns
天安門 ns

詞性對照表

在這里插入圖片描述

3，并行分詞

將目標文本按行分隔后，把各行文本分配到多個 Python 進程并行分詞，然后歸并結果，從而獲得分詞速度的可觀提升。用法：

jieba.enable_parallel(4)：開啟并行分詞模式，參數為并行進程數
jieba.disable_parallel() ：關閉并行分詞模式

可參考?test_file.py

注意：基于 python 自帶的 multiprocessing 模塊，目前暫不支持 Windows

4，Tokenize：返回詞語在原文的起止位置

1）默認模式

注意，輸入參數只接受 unicode

import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服裝飾品有限公司')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
    
# ----output-------
word 永和		 start: 0 		 end:2
word 服裝		 start: 2 		 end:4
word 飾品		 start: 4 		 end:6
word 有限公司		 start: 6 		 end:10

2）搜索模式

import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服裝飾品有限公司', mode='search')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
    
# ----output-------
word 永和		 start: 0 		 end:2
word 服裝		 start: 2 		 end:4
word 飾品		 start: 4 		 end:6
word 有限		 start: 6 		 end:8
word 公司		 start: 8 		 end:10
word 有限公司		 start: 6 		 end:10

5，搜索引擎ChineseAnalyzer for Whoosh

使用 jieba 和 whoosh 可以實現搜索引擎功能。
whoosh 是由python實現的一款全文搜索工具包，可以使用 pip 安裝它：

pip install whoosh

介紹 jieba + whoosh 實現搜索之前，你可以先看下文 whoosh 的簡單介紹。
下面看一個簡單的搜索引擎的例子：

import os
import shutil

from whoosh.fields import *
from whoosh.index import create_in
from whoosh.qparser import QueryParser
from jieba.analyse import ChineseAnalyzer


analyzer = ChineseAnalyzer()

schema = Schema(title=TEXT(stored=True),
                path=ID(stored=True),
                content=TEXT(stored=True,
                             analyzer=analyzer))
if not os.path.exists("test"):
    os.mkdir("test")
else:
    # 遞歸刪除目錄
    shutil.rmtree("test")
    os.mkdir("test")

idx = create_in("test", schema)
writer = idx.writer()

writer.add_document(
    title=u"document1",
    path="/tmp1",
    content=u"Tracy McGrady is a famous basketball player, the elegant basketball style of him attract me")
writer.add_document(
    title=u"document2",
    path="/tmp2",
    content=u"Kobe Bryant is a famous basketball player too , the tenacious spirit of him also attract me")
writer.add_document(
    title=u"document3",
    path="/tmp3",
    content=u"LeBron James is the player i do not like")

writer.commit()
searcher = idx.searcher()
parser = QueryParser("content", schema=idx.schema)

for keyword in ("basketball", "elegant"):
    print("searched keyword ",keyword)
    query= parser.parse(keyword)
    print(query,'------')
    results = searcher.search(query)
    for hit in results:
        print(hit.highlights("content"))
    print("="*50)

六，延遲加載

ieba 采用延遲加載，import jieba 和 jieba.Tokenizer() 不會立即觸發詞典的加載，一旦有必要才開始加載詞典構建前綴字典。如果你想手工初始 jieba，也可以手動初始化。

import jieba
jieba.initialize()  # 手動初始化（可選）

上面代碼中，使用 add_document() 把一個文檔添加到了 index 中。在這些文檔中，搜索含有 “basketball”和 “elegant” 的文檔。

七，其他詞典

1，占用內存較小的詞典文件?https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small

2，支持繁體分詞更好的詞典文件?https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big

下載你所需要的詞典，然后覆蓋 jieba/dict.txt 即可；或者用?jieba.set_dictionary('data/dict.txt.big')

原文鏈接：https://blog.csdn.net/TFATS/article/details/108810284

上一篇：詳解C++?functional庫中的仿函數使用方法_C 語
下一篇：Nginx速查手冊及常見問題_nginx

日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

網站首頁編程語言正文

Python中文分詞庫jieba(結巴分詞)詳細使用介紹_python

一，jieba的介紹

二，安裝和使用

1，安裝

2，使用

三，主要分詞功能

1，jieba.cut 和jieba.lcut

1）精準模式（默認）:

2）全模式:

3）paddle模式

2，jieba.cut_for_search 和 jieba.lcut_for_search

搜索引擎模式

3，jieba.Tokenizer(dictionary=DEFAULT_DICT)

四，添加自定義詞典

1，添加詞典用法：

2，其中自定義字典舉例如下：

3，使用自定義詞典示例：

1）使用自定義詞典文件

2）使用 jieba 在程序中動態修改詞典

五，關鍵詞提取

1，基于TF-IDF算法的關鍵詞提取

1）TF-IDF接口和示例

2）關鍵詞提取所使用逆向文件頻率（IDF）文本語料庫可以切換成自定義語料庫的路徑

3）關鍵詞提取所使用停止詞（Stop Words）文本語料庫可以切換成自定義語料庫的路徑

4）關鍵詞一并返回關鍵詞權重值示例

2，詞性標注

3，并行分詞

4，Tokenize：返回詞語在原文的起止位置

1）默認模式

2）搜索模式

5，搜索引擎ChineseAnalyzer for Whoosh

六，延遲加載

七，其他詞典

相關推薦

日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

網站首頁 編程語言 正文

Python中文分詞庫jieba(結巴分詞)詳細使用介紹_python

一，jieba的介紹

二，安裝和使用

1，安裝

2，使用

三，主要分詞功能

1，jieba.cut 和jieba.lcut

1）精準模式（默認）:

2）全模式:

3）paddle模式

2，jieba.cut_for_search 和 jieba.lcut_for_search

搜索引擎模式

3，jieba.Tokenizer(dictionary=DEFAULT_DICT)

四，添加自定義詞典

1，添加詞典用法：

2，其中自定義字典舉例如下：

3，使用自定義詞典示例：

1）使用自定義詞典文件

2）使用 jieba 在程序中動態修改詞典

五，關鍵詞提取

1，基于TF-IDF算法的關鍵詞提取

1）TF-IDF接口和示例

2）關鍵詞提取所使用逆向文件頻率（IDF）文本語料庫可以切換成自定義語料庫的路徑

3）關鍵詞提取所使用停止詞（Stop Words）文本語料庫可以切換成自定義語料庫的路徑

4）關鍵詞一并返回關鍵詞權重值示例

2，詞性標注

3，并行分詞

4，Tokenize：返回詞語在原文的起止位置

1）默認模式

2）搜索模式

5，搜索引擎ChineseAnalyzer for Whoosh

六，延遲加載

七，其他詞典

相關推薦

網站首頁編程語言正文