栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

elasticsearch+logstach+kafka

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

elasticsearch+logstach+kafka

官方下载地址: https://www.elastic.co/cn/downloads

快速下载地址

ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D

kibana: https://mirrors.huaweicloud.com

1、全文检索需求:因为数据库已经解决不了海量数据的快速查询,所以

引入了全文检索。最原生的是lucene,经过封装出现

solr,solr 有一个缺点,在建立索引的时候,索引性能下降,后来出现es,性能最高。

扩容分:

        垂直扩容:

        水平扩容:加服务器,只能能打到每台服务器就行,调度器---web服务器-

部署logstash---------logstash负责采集、解析日志

1、logstash的输入源有哪些? Logstash输入来源有那些?

本地文件、kafka、数据库、mongdb、redis

 2、logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存      

 就启动了一个logstach 服务,MEM占了一半。

下载地址:

 logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D

Logstash 由JRuby,语言编写,基于消息.( message-based)的简单架构,并运行在Java 虚拟机(JⅣM)上,是一款强大的数据处理工具。可以实现数据传输、格式处理、格式化输出。

 Logstash的理念很简单,它只做3件事情:

 Collect:数据输入
 Enrich:数据加工《过滤,改写等)心
 Transport:数据输出-

1、创建存放logstach的目录/data/elk/logstach

mkdir -p /data/elk/logstach

2、logstach下载完毕后、解压logstach、这里以logstash-7.8.0.tar.gz为例子。

tar -xvf logstash-7.8.0.tar.gz -C /data/elk/logstach/

3、修改配置文件/config/logstach.conf

 input:从两方面一个是从nginx输入,另一个从/var/log/下面

启动logstash

nohup ./bin/logstash -f config/logstash.conf &

elasticsearch

1,分片(Shard)

Elasticsearch是一个分布式的搜索引擎,索引的数据也是分成若干部分,分布在不同的服务器节点中分布在不同服务器节点中的索引数据,就是分片(Shard)。Elasticsearch会自动管理分片,如果发现分片分布不均衡,就会自动迁移一个索引(index)由多个shard(分片)组成,而分片是分布在不同的服务器上的

2, 副本

为了对Elasticsearch的分片进行容错,假设某个节点不可用,会导致整个索引库都将不可用。所以,需要对分片进行副本容错。每一个分片都会有对应的副本。在Elasticsearch中,默认创建的索引为1个分片、每个分片有1个主分片和1个副本分片。每个分片都会有一个Primary Shard(主分片),也会有若干个Replica Shard(副本分片)Primary Shard和Replica Shard不在同一个节点上
 

启动kafka

nohup ./kibana --allow-root &
 

暑期编程PK赛 得CSDN机械键盘等精美礼品!
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1016745.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号