官方下载地址: https://www.elastic.co/cn/downloads
快速下载地址
ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
kibana: https://mirrors.huaweicloud.com
1、全文检索需求:因为数据库已经解决不了海量数据的快速查询,所以
引入了全文检索。最原生的是lucene,经过封装出现
solr,solr 有一个缺点,在建立索引的时候,索引性能下降,后来出现es,性能最高。
扩容分:
垂直扩容:
水平扩容:加服务器,只能能打到每台服务器就行,调度器---web服务器-
部署logstash---------logstash负责采集、解析日志
1、logstash的输入源有哪些? Logstash输入来源有那些?
本地文件、kafka、数据库、mongdb、redis
2、logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存
就启动了一个logstach 服务,MEM占了一半。
下载地址:
logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D
Logstash 由JRuby,语言编写,基于消息.( message-based)的简单架构,并运行在Java 虚拟机(JⅣM)上,是一款强大的数据处理工具。可以实现数据传输、格式处理、格式化输出。
Logstash的理念很简单,它只做3件事情:
Collect:数据输入
Enrich:数据加工《过滤,改写等)心
Transport:数据输出-
1、创建存放logstach的目录/data/elk/logstach
mkdir -p /data/elk/logstach
2、logstach下载完毕后、解压logstach、这里以logstash-7.8.0.tar.gz为例子。
tar -xvf logstash-7.8.0.tar.gz -C /data/elk/logstach/
3、修改配置文件/config/logstach.conf
input:从两方面一个是从nginx输入,另一个从/var/log/下面
启动logstash
nohup ./bin/logstash -f config/logstash.conf &
elasticsearch
1,分片(Shard)
Elasticsearch是一个分布式的搜索引擎,索引的数据也是分成若干部分,分布在不同的服务器节点中分布在不同服务器节点中的索引数据,就是分片(Shard)。Elasticsearch会自动管理分片,如果发现分片分布不均衡,就会自动迁移一个索引(index)由多个shard(分片)组成,而分片是分布在不同的服务器上的
2, 副本
为了对Elasticsearch的分片进行容错,假设某个节点不可用,会导致整个索引库都将不可用。所以,需要对分片进行副本容错。每一个分片都会有对应的副本。在Elasticsearch中,默认创建的索引为1个分片、每个分片有1个主分片和1个副本分片。每个分片都会有一个Primary Shard(主分片),也会有若干个Replica Shard(副本分片)Primary Shard和Replica Shard不在同一个节点上
启动kafka
nohup ./kibana --allow-root &



