- 前言
- 一、jiaba分词总览
- 二、源代码分析
-
- 1.前缀字典
- 2.DAG
- 3.最大概率切分组合
- 4.未登录词问题
- 总结
本文主要介绍了基于HMM的jieba分词，主要包含分词总览、源代码分析。
一、jiaba分词总览中文不像英文单词之间以空格分割，而是以字为分界的，因此需要专门进行分词，分词也是一项基本的工作，同时分词的准确度直接影响到后续中文NLP任务的效果。中文分词存在着一些难点，包括歧义切分（多义组合、词之间的重叠）、新词，这些都会影响到分词的精度。最常用的中文分词工具是结巴分词，可参考https://github.com/fxsjy/jieba。
jieba分词的分词策略：
-
基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）；
-
采用了动态规划
