事实上,利用朴素贝叶斯进行各种分类时,还需要经历文本数据预处理(分词和去除停用词等)、将文本数据向量化、特征提取(降维、特征权重等)、朴素贝叶斯分类等步骤。这篇文章主要讲一下朴素贝叶斯的编程实现。
1、文本构建词向量
我们将把文本看成单词向量或者词条向量,也就是说将文本或句子转换为向量。(程序来源于《机器学习实战》)
第一个函数相当于给了几句评论的语句(已经经历过了分词和去词等处理) 第二个函数相当于对第一个函数里面的语句进行整合,去除掉重复的单词(相当于构建好了一个自定义词典)。第三个函数是句子转换成向量的函数。
词表构建好了,发现并没有重复的词了。
检查上述词表,就会发现这里不会出现重复的单词。目前该词表还没有排序,需要的话,稍
后可以对其排序。下面看一下函数setofWords2Vec ()的运行效果:
该函数使用词汇表或者想要检查的所有单词作为输人,然后为其中每一个单词构建一个特
征。一旦给定一篇文档(斑点犬网站上的一条留言),该文档就会被转换为词向量。



