栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

结巴(jieba)分词 java 实现

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

结巴(jieba)分词 java 实现

结巴分词 java版本实现方式
    • 前言
      • 1引入 pom 依赖
      • 普通分词实现代码
      • 2 加载自定义词典
        • 2.1 情况
        • 2.2自定义 词典 `dict.txt`
        • 2.3 加载自定义词典
      • 3关于词性的问题
        • 3.1 python 中关于词性的使用方式
        • 3.2 java 中当前版本不支持词性

前言

最近因为需要学习新闻推荐相关的知识,所以学习分词相关的知识

1引入 pom 依赖

   	com.huaban
    jieba-analysis
     1.0.2
 
普通分词实现代码
import com.huaban.analysis.jieba.JiebaSegmenter;
import data.recomend.util.TextDealutil;
import org.apache.commons.io.FileUtils;

import java.io.File;
import java.io.IOException;
import java.util.List;
import java.util.stream.Collectors;

public class SplitWord {

    private static String basePath = "C:\project\idea4\dataRecommend\src\main\resources\data\";
    public static void main(String[] args) throws IOException {
        String content = "《开端》《镜双城》《淘金》三部热播剧均有她,你发现了吗?";
        content = TextDealutil.specialCharacters(content);
        List stop_words = FileUtils.readLines(new File(basePath + "files\stop_words.txt"));
        JiebaSegmenter segmenter = new JiebaSegmenter();
        List result = segmenter.sentenceProcess(content);
        System.out.println("没有过滤停用词======" + result);
        result = result.stream().map(o -> o.trim()).filter(o -> !stop_words.contains(o)).collect(Collectors.toList());
        System.out.println("过滤停用词=========" + result);
    }
}

结果展示:

stop_words.txt 停用词类似于一些符号,或者语气词之类的,通过以上的测试结果可以看出来

!
"
#
$
%
&
'
(
)
*
+

TextDealutil,自定义的去除文本的特殊字符,可以不需要这个类,或者自己重写对特殊字符进行替换也行

2 加载自定义词典 2.1 情况

对于某些分词,应该是分成一个词,但是分出来确实多个词的情况,比如说

比如一些专业名词,还有一些人名之类的,“周冬雨”,我们希望分词之后的是“周冬雨”,而不是“周”、“冬雨”这样的。

其实结巴分词默认的是时候,会加载包下的一个默认dict.txt

每一个关键词一行,每一列分别表示:关键字,词频,词性,用空格分隔开的

所以我们在自定义词典的时候,也需要按照这个格式,然后加载到环境中

2.2自定义 词典 dict.txt

周冬雨 3 n
郭艾伦 3 n
张雨霏 3 nr
林郑月 3 nr

2.3 加载自定义词典

也就是通过 WordDictionary加载自定义的词典

		// 加载自定义的词典
        Path path = FileSystems.getDefault().getPath(basePath+"/files", "dict.txt");
        WordDictionary.getInstance().loadUserDict(path);
        JiebaSegmenter jiebaSegmenter = new JiebaSegmenter();
        List strings = jiebaSegmenter.sentenceProcess("周杰伦周冬雨");
        strings.stream().forEach(System.out::println);

结果

main dict load finished, time elapsed 578 ms
user dict C:projectidea4dataRecommendsrcmainresourcesdatafilesdict.txt load finished, tot words:4, time elapsed:0ms
model load finished, time elapsed 43 ms.
周杰伦
周冬雨

打印的结果包含加载项目路劲下自定义的词典和解析结果

3关于词性的问题 3.1 python 中关于词性的使用方式
jieba.analyse.extract_tags(
                    self.content,
                    topK=10,
                    withWeight=False,
                    allowPOS=('ns', 'n', 'vn', 'v')
                )
     ##   以下为注释
    Extract keywords from sentence using TF-IDF algorithm.
    Parameter:
        - topK: return how many top keywords. `None` for all possible words.
        - withWeight: if True, return a list of (word, weight);
                      if False, return a list of words.
        - allowPOS: the allowed POS list eg. ['ns', 'n', 'vn', 'v','nr'].
                    if the POS of w is not in this list,it will be filtered.
        - withFlag: only work with allowPOS is not empty.
                    if True, return a list of pair(word, weight) like posseg.cut
                    if False, return a list of words

其中 allowPOS,表示分词结果之后,保留什么词性的分词,
topK表示根据排序之后的结果,取前 TopK个结果

        if allowPOS:
            allowPOS = frozenset(allowPOS)
            words = self.postokenizer.cut(sentence)
        else:
            words = self.tokenizer.cut(sentence)
        freq = {}
        for w in words:
        	## 获取指定词性的分词结果
            if allowPOS:
                if w.flag not in allowPOS:
                    continue
                elif not withFlag:
                    w = w.word
            wc = w.word if allowPOS and withFlag else w
            ## 停用词过滤的地方
            if len(wc.strip()) < 2 or wc.lower() in self.stop_words:
                continue
            freq[w] = freq.get(w, 0.0) + 1.0
        total = sum(freq.values())
        for k in freq:
            kw = k.word if allowPOS and withFlag else k
            freq[k] *= self.idf_freq.get(kw, self.median_idf) / total
		# 排序
        if withWeight:
            tags = sorted(freq.items(), key=itemgetter(1), reverse=True)
        else:
            tags = sorted(freq, key=freq.__getitem__, reverse=True)
         # 取排序好的TopK个结果
        if topK:
            return tags[:topK]
        else:
            return tags
3.2 java 中当前版本不支持词性

在huaban 的 github 地址中

https://github.com/huaban/jieba-analysis

有关于介绍,也就是说当前这个版本没有不支持词性分词

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/984850.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号