jieba是第三方中文分词函数库
jieba有三种模式：
- 精准模式：将句子最精准的切开，适合文本分析全模式：把句子中所有可以成词的词语都扫描处理，速度快但是不能消除歧义搜索引擎模式：在精准模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
import jieba
# lcut(s)函数 精确模式，返回一个列表类型
s1 = '全国计算机等级考试python科目'
print(jieba.lcut(s1)) # ['全国', '计算机', '等级', '考试', 'python', '科目']
# lcut(s, cut_all=Ture) 全模式，返回一个列表类型
print(jieba.lcut(s1, cut_all=True)) # ['全国', '国计', '计算', '计算机', '算机', '等级', '考试', 'python', '科目']
# lcut_for_search(s) 搜索引擎模式，返回一个列表类型
# 这种方式会出现一定的分词冗余
print(jieba.lcut_for_search(s1)) # ['全国', '计算', '算机', '计算机', '等级', '考试', 'python', '科目']
# add_word(w)函数 向分词词典中添加新词w
# 添加新词后，当再次遇到该词时将不再被分开
jieba.add_word('全国计算机')
print(jieba.lcut(s1)) # ['全国计算机', '等级', '考试', 'python', '科目']
