栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ElasticSearch 学习2

ElasticSearch 学习2

倒排索引

(也叫反向索引)
原理分析:https://zhuanlan.zhihu.com/p/33671444

  • 根据属性的值来查找记录
  • 倒排索引文件
  • 映射
  • FST(Finite State Transducer)有穷状态转换器
    写入直接PUT一个JSON的对象,这个对象有多个字段,在插入这些数据到索引的同时,Elasticsearch还为这些字段建立索引
    全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
    FST有两个优点:
    1)空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;
    2)查询速度快。O(len(str))的查询时间复杂度。

索引构建
1)将文档分析成单词term标记,
2)使用hash去重单词term
3)对单词生成倒排列表

分词器

(形成倒排索引)
分词:将或者段落进行切割(也叫切词),从中提取出包含固定语义得词。

ElasticSearch
a. Standard 默认分词器,按词切分,小写处理,中文按字处理了
b. Simple 按非字母切,小写处理,中文不处理
c. Stop 按词切分,小写处理,过滤:the a is 符号
d. Whitespace 按空格切,不小写处理
e. Keyword 不分词
f. Patter 正则表达 默认w,非字符处理
g. Language 提供多种常见语言的分词处理

中文开源分词器:IK、MM、庖丁、imdict等
IK分词器
基于Java开发的轻量级中文分词工具,开源
ik_smart : 粗力度
Ik_max_word : 细粒度

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687412.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号