2021SC@SDUSC
基于python的jieba分词综述jieba分词有三种不同的分词模式：精确模式、全模式和搜索引擎模式：
1，全模式：把句子中的所有可以成词的词语都扫描出来，
2， 精确模式：试图将文本最精确的分开，适合于做文本分析。
3，搜索引擎模式：在精确的基础上对长词进行进一步的切分。
精确模式是最常用的分词方法，全模式会将句子中所有可能的词都列举出来，搜索引擎模式则适用于搜索引擎使用。
在每个函数中，都有名为HMM的参数。这一项表示是否在分词过程中利用HMM进行新词发现。。
另外分词支持自定义字典，词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。
整体工作流程
jieba分词主要通过词典来进行分词及词性标注，两者使用了一个相同的词典。正因如此，分词的结果优劣将很大程度上取决于词典，虽然使用了HMM来进行新词发现。
jieba分词包整体的工作流程如下图
我负责TF-IDF算法
TF-IDF
TF-IDF（词频-逆文本频率）是一种用以评估字词在文档中重要程度的统计方法。它的核心思想是，如果某个词在一篇文章中出现的频率即TF高，并且在其他文档中出现的很少，则认为这个词有很好的类别区分能力。TF-IDF方法模型不进行词性筛选
