栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ElasticSearch7.6(你当我是保姆?)<1>

ElasticSearch7.6(你当我是保姆?)<1>

ElasticSearch7.6 一、ElasticSearch概述 官网:https://www.elastic.co/cn/downloads/elasticsearch

​ 因为最近公司对京东的搜索页非常感兴趣,所以小编研究了一下京东那魅力无穷的万能搜索页,问了度娘好久才知道京东大哥用的是ElasticSearch来进行查询的,废话少说接下来我把这几天专研学习ElasticSearch的经验和我自己的一些看法给大家分享一下~~~

Elaticsearch,简称为es,es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别(大数据时代)的数据。es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单

据国际权威的数据库产品评测机构DB Engines的统计,在2016年1月,ElasticSearch已超过Solr等,成为排名第一的搜索引擎类应用。

具体使用场景:

1、维基百科,类似百度百科,全文检索,高亮,搜索推荐/2

2、The Guardian (国外新闻网站) ,类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论) +社交网络数据(对某某新闻的相关看法) ,数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)
3、Stack Overflow (国外的程序异常讨论论坛) , IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案
4、GitHub (开源代码管理),搜索 上千亿行代码
5、电商网站,检索商品
6、日志数据分析, logstash采集日志, ES进行复杂的数据分析, ELK技术, elasticsearch+logstash+kibana
7、商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买
8、BI系统,商业智能, Business Intelligence。比如说有个大型商场集团,BI ,分析一下某某区域最近3年的用户消费 金额的趋势以及用户群体的组成构成,产出相关的数张报表, **区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开-个新商场。ES执行数据分析和挖掘, Kibana进行数据可视化
9、国内:站内搜索(电商,招聘,门户,等等),IT系统搜索(OA,CRM,ERP,等等),数据分析(ES热门
的一一个使用场景)

简单啰嗦一下↑,接下来小伙伴们就可以跟我一起动手开始搞事情了!!!

二.ElasticSearch的安装 1.Windows下安装 ①安装

下载版本:https://www.elastic.co/cn/downloads/

历史版本:https://www.elastic.co/cn/downloads/past-releases/

下载之后解压即可(尽量将ElasticSearch和相关工具放到统一目录下)

②了解下目录结构

bin 启动文件目录
config 配置文件目录
    1og4j2 日志配置文件
    jvm.options java 虚拟机相关的配置(默认启动占1g内存,内容不够需要自己调整)
    elasticsearch.ym1 elasticsearch 的配置文件! 默认9200端口!跨域!
1ib 
    相关jar包
modules 功能模块目录
plugins 插件目录
    ik分词器
③启动

启动之前要检查java 环境是否配置好哦



④安装可视化界面 elasticsearch-head

使用前提:需要安装node.js

    下载地址 https://github.com/mobz/elasticsearch-head

    安装解压即可(尽量将elasticsearch相关工具放在统一目录下)

    启动

    cd elasticsearch-head
    # 安装依赖
    npm install
    # 启动
    npm run start
    # 访问
    http://localhost:9100/
    
    ###安装依赖---->运行----->访问
    

    跨域问题要解决一下

    开启跨域(在elasticsearch解压目录config下elasticsearch.yml中添加)
    
    # 开启跨域 
    http.cors.enabled: true
    # 所有人访问
    http.cors.allow-origin: "*"
    

    yml配置文件解决完之后重启elasticsearch再继续访问http://localhost:9100/

映入眼帘的界面是不是感觉很简陋~~~如果你是初学者的话

索引可以当做“数据库”类型可以当做 “表”文档可以当做库中数据(表中的行)

做完这些工作之后你的elasticsearch就算安装好了,本章主要对大家讲解的是Elasticsearch整合进springBoot中的对象api怎么使用,具体的调试我给大家推荐一个地址,要去练习哦!

Elasticsearch7.6.x:使用详解:https://blog.csdn.net/Zeroowt/article/details/105808429

三.直接怼入Springboot! 1.准备阶段

1.导入依赖

注意maven的依赖要和下载安装的版本一致!


    1.8
    
    7.6.1

	

    org.springframework.boot
    spring-boot-starter-data-elasticsearch

	

    com.alibaba
    fastjson
    1.2.70



    org.projectlombok
    lombok
    true

2.创建并编写配置类

@Configuration
public class ElasticSearchConfig {
    // 注册 rest高级客户端 
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1",9200,"http")
                )
        );
        return client;
    }
}

3.创建并且编写实体类

@Data
@NoArgsConstructor
@AllArgsConstructor
public class User implements Serializable {
    private static final long serialVersionUID = -3843548915035470817L;
    private String name;
    private Integer age;
}

4.测试(所有的测试都在SpringbootElasticsearchApplicationTests)中

2索引的操作 1.索引的创建
// 测试索引的创建, Request PUT zxz_index
@Test
public void testCreateIndex() throws IOException {
    CreateIndexRequest request = new CreateIndexRequest("zxz_index");
    CreateIndexResponse response = restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
    System.out.println(response.isAcknowledged());// 查看是否创建成功
    System.out.println(response);// 查看返回对象
    restHighLevelClient.close();
}
2.索引的获取,并判断其是否存在
// 测试获取索引,并判断其是否存在
@Test
public void testIndexIsExists() throws IOException { 
	GetIndexRequest request = new GetIndexRequest("zxz_index");  
    boolean exists = restHighLevelClient.indices().exists(request, RequestOptions.DEFAULT); 
    System.out.println(exists);// 索引是否存在  
    restHighLevelClient.close();
}
3、索引的删除
// 测试索引删除
@Test
public void testDeleteIndex() throws IOException {   
    DeleteIndexRequest request = new DeleteIndexRequest("zxz_index"); 
    AcknowledgedResponse response = restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
    System.out.println(response.isAcknowledged());
    // 是否删除成功  
    restHighLevelClient.close();
}
3.文档的操作 1、文档的添加
// 测试添加文档(先创建一个User实体类,添加fastjson依赖)
@Test
public void testAdddocument() throws IOException {  
    // 创建一个User对象  
    User liuyou = new User("liuyou", 18); 
    // 创建请求   
    IndexRequest request = new IndexRequest("zxz_index"); 
    // 制定规则 PUT /zxz_index/_doc/1 
    request.id("1");
    // 设置文档ID
    request.timeout(Timevalue.timevalueMillis(1000));
    // request.timeout("1s")   
    // 将我们的数据放入请求中
    request.source(JSON.toJSONString(liuyou), XContentType.JSON); 
    // 客户端发送请求,获取响应的结果    
    IndexResponse response = restHighLevelClient.index(request, RequestOptions.DEFAULT);  
    System.out.println(response.status());
    // 获取建立索引的状态信息 CREATED   
    System.out.println(response);
    // 查看返回内容 
    IndexResponse[index=liuyou_index,type=_doc,id=1,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]
}
2、文档信息的获取
// 测试获得文档信息
@Test
public void testGetdocument() throws IOException {  
    GetRequest request = new GetRequest("zxz_index","1");
    GetResponse response = restHighLevelClient.get(request, RequestOptions.DEFAULT);
    System.out.println(response.getSourceAsString());
    // 打印文档内容   
    System.out.println(request);
    // 返回的全部内容和命令是一样的   
    restHighLevelClient.close();
}
3、文档的获取,并判断其是否存在
// 获取文档,判断是否存在 get /zxz_index/_doc/1
@Test
public void testdocumentIsExists() throws IOException { 
    GetRequest request = new GetRequest("zxz_index", "1");   
    // 不获取返回的 _source的上下文了   
    request.fetchSourceContext(new FetchSourceContext(false));  
    request.storedFields("_none_");    
    boolean exists = restHighLevelClient.exists(request, RequestOptions.DEFAULT);  
    System.out.println(exists);
}
4、文档的更新
// 测试更新文档内容
@Test
public void testUpdatedocument() throws IOException { 
    UpdateRequest request = new UpdateRequest("zxz_index", "1");  
    User user = new User("lmk",11);  
    request.doc(JSON.toJSONString(user),XContentType.JSON); 
    UpdateResponse response = restHighLevelClient.update(request, RequestOptions.DEFAULT); 
    System.out.println(response.status()); 
    // OK    
    restHighLevelClient.close();
}
5、文档的删除
// 测试删除文档
@Test
public void testDeletedocument() throws IOException {   
    DeleteRequest request = new DeleteRequest("zxz_index", "1"); 
    request.timeout("1s"); 
    DeleteResponse response = restHighLevelClient.delete(request, RequestOptions.DEFAULT); 
    System.out.println(response.status());
    // OK
}
6、文档的查询
 // 查询
// SearchRequest 搜索请求
// SearchSourceBuilder 条件构造
// HighlightBuilder 高亮
// TermQueryBuilder 精确查询
// MatchAllQueryBuilder
// xxxQueryBuilder ...
@Test
public void testSearch() throws IOException {
    // 1.创建查询请求对象
    SearchRequest searchRequest = new SearchRequest();
    // 2.构建搜索条件
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    // (1)查询条件 使用QueryBuilders工具类创建
    // 精确查询
    TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "liuyou");
    //        // 匹配查询
    //        MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery();
    // (2)其他<可有可无>:(可以参考 SearchSourceBuilder 的字段部分)
    // 设置高亮
    searchSourceBuilder.highlighter(new HighlightBuilder());
    //        // 分页
    //        searchSourceBuilder.from();
    //        searchSourceBuilder.size();
    searchSourceBuilder.timeout(new Timevalue(60, TimeUnit.SECONDS));
    // (3)条件投入
    searchSourceBuilder.query(termQueryBuilder);
    // 3.添加条件到请求
    searchRequest.source(searchSourceBuilder);
    // 4.客户端查询请求
    SearchResponse search = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
    // 5.查看返回结果
    SearchHits hits = search.getHits();
    System.out.println(JSON.toJSONString(hits));
    System.out.println("=======================");
    for (SearchHit documentFields : hits.getHits()) {
        System.out.println(documentFields.getSourceAsMap());
    }
}
前面的操作都无法批量添加数据
// 上面的这些api无法批量增加数据(只会保留最后一个source)
@Test
public void test() throws IOException {
    IndexRequest request = new IndexRequest("bulk");// 没有id会自动生成一个随机ID
    request.source(JSON.toJSONString(new User("liu",1)),XContentType.JSON);
    request.source(JSON.toJSONString(new User("min",2)),XContentType.JSON);
    request.source(JSON.toJSONString(new User("kai",3)),XContentType.JSON);
    IndexResponse index = restHighLevelClient.index(request, RequestOptions.DEFAULT);
    System.out.println(index.status());// created
}
7、批量添加数据
// 特殊的,真的项目一般会 批量插入数据
@Test
public void testBulk() throws IOException {
    BulkRequest bulkRequest = new BulkRequest();
    bulkRequest.timeout("10s");
    ArrayList users = new ArrayList<>();
    users.add(new User("liuyou-1",1));
    users.add(new User("liuyou-2",2));
    users.add(new User("liuyou-3",3));
    users.add(new User("liuyou-4",4));
    users.add(new User("liuyou-5",5));
    users.add(new User("liuyou-6",6));
    // 批量请求处理
    for (int i = 0; i < users.size(); i++) {
        bulkRequest.add(
                // 这里是数据信息
                new IndexRequest("bulk")
                        .id(""+(i + 1)) // 没有设置id 会自定生成一个随机id
                        .source(JSON.toJSONString(users.get(i)),XContentType.JSON)
        );
    }
    BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
    System.out.println(bulk.status());// ok
}
 {
        bulkRequest.add(
                // 这里是数据信息
                new IndexRequest("bulk")
                        .id(""+(i + 1)) // 没有设置id 会自定生成一个随机id
                        .source(JSON.toJSONString(users.get(i)),XContentType.JSON)
        );
    }
    BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
    System.out.println(bulk.status());// ok
}

今天就到这吧小编干不动了!后面我会给大家更新实战的项目,更多精彩内容请你关注!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/711360.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号