准备工作：
1、服务器三台
172.16.xx.17
172.16.xx.18
172.16.xx.19
2、更改主机名（可选，本机器主机名太长）
vi /etc/hosts
vi /etc/systemconfig/network
3、安装jdk：jdk-8u131-linux-x64.tar.gz
1.8版本，不按照会出现莫名错误、jps无法使用
配置/etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=
J
A
V
A
H
O
M
E
/
j
r
e
e
x
p
o
r
t
C
L
A
S
S
P
A
T
H
=
.
:
{JAVA_HOME}/jre export CLASSPATH=.:
JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/lib:
J
R
E
H
O
M
E
/
l
i
b
e
x
p
o
r
t
P
A
T
H
=
{JRE_HOME}/lib export PATH=
JREHOME/libexportPATH={JAVA_HOME}/bin:$PATH
生效 source /etc/profile
集群搭建
搭建elasticsearch集群环境：
ssh上传文件到指定机器
scp jdk-8u131-linux-x64.tar.gz unicom@172.16.205.18:/home/union
1、root用户下
新增es用户: useradd es
passwd es : xxxx
赋权：chmod 777 xxxx
2、切换到es用户下
解压 tar -xzvf elasticsearch-5.4.3.tar.gz
cd ~/config
更改配置文件elasticsearch.yml ，见下，各个版本有差异 https://www.cnblogs.com/hanyouchun/p/5163183.html
3、操作系统配置（对系统影响，待研）
root用户下更改vi /etc/security/limits.conf添加
* soft nofile 655350
* hard nofile 655350
最大内存映射区数量,禁用swap交换分区
vim /etc/sysctl.conf增加
vm.max_map_count=262144
vm.swappiness=1
修改完成后sysctl -p
4、jvm参数配置
ES_HOME的bin目录下有一个elasticsearch.in.sh文件,修改
ES_MIN_MEM＝256m
ES_MAX_MEM=1g
为合适的值
5、启动
前台启动： ./bin/elasticsearch
后台启动： ./bin/elasticsearch -d
查看：jps | grep Elasticsearch
关闭：kill -15 pid
验证
界面访问http://localhost:9200/ status=200说明安装成功
ES 命令查看： curl ‘localhost:9200/?pretty’ status=200说明安装成功
搭建kibana
下载tar.gz，解压到es用户下即可
启动
./bin/kibana
界面访问http://125.46.106.75:5601/
插件安装
插件说明http://www.cnblogs.com/huangfox/p/3541300.html
http://blog.csdn.net/u012332735/article/details/54946355
其他插件
Marvel http://localhost:25556/_plugin/head/ 浏览和交互，但收费。不安装
bigdesk http://hadoop1:9200/_plugin/bigdesk/ 已安装。
head插件 http://localhost:9200/_plugin/head/ 已安装。将压缩包解压到plugin下即可
3jdbc插件，从数据库同步数据。暂不安装
离线安装说明 http://blog.csdn.net/maxam0128/article/details/50260561
搭建Flume
建立flume用户
useradd flume
passwd flume
上传安装文件
配置文件修改
flume-env.sh 需配置JAVA_HOME环境变量
flume-es.conf(参考例子)
启动
在bin下
./flume-ng agent -c …/conf/ -f …/conf/flume-es.conf -n agent -Dflume.root.logger=INFO,console
特例：
对于采集的日志文件名动态变化时，参考
agent.sources.s3.command = /data/cms/cms17/bin/logcoll-tailrotate.sh /home/xxx/apache-tomcat-7.0.73/logs/localhost_access_log.DATE_ROTATE.txt ‘date +"%Y-%m-%d"’
详见flume.txt
搭建kafka
http://blog.csdn.net/u011622226/article/details/53520382
官网下载
安装zookeeper-3.4.8
1、 解压即可（本文新增了hadoop用户，将解压缩文件放在此用户下）
2、配置文件 zoo.cfg
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg 修改两个地方
3、增加myid配置
进入到安装目录
mkdir data
cd data
echo 0 >> myid //此myid的值和zoo.cfg中对应
cat myid
4、zk启动
./zkServer.sh start
启动成功后可jps 看到 QuorumPeerMain进程
./zkServer.sh start-foreground 控制台打印日志
停止 ./zkServer.sh.stop
安装kafka_2.10-0.10.2.1
注意版本匹配，否则报莫名的错误
1、安装kafka 解压即可（本文新增了kafka用户，将解压缩文件放在此用户下）
2、配置环境变量(可选)
export KAFKA_HOME=/home/hadoop/kafka_2.10-0.10.2.1
export PATH=
P
A
T
H
:
PATH:
PATH:{KAFKA_HOME}/bin
3、修改/config/server.properties(非集群按照不需要)
broker.id=0
listeners=PLAINTEXT://192.168.1.25:9092
advertised.listeners=PLAINTEXT://192.168.1.25:9092
log.dirs=/home/kafka/kafka_2.10-0.10.2.1/kafka-logs
num.partitions=2 —修改，增大处理能力
log.retention.hours=72 --消息保留三天
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=10485760
zookeeper.connect=kafka-master:2181,kafka-1:2181,kafka2:2181
修改/config/consumer.properties
fetch.message.max.bytes=10485760
4、启动
进入bin目录下
./kafka-server-start.sh …/config/server.properties & ------（&表示后台执行）
5、验证是否按照成功
创建topic主题
./kafka-topics.sh --create --zookeeper kafka-master:2181,kafka-1:2181,kafka2:2181 --replication-factor 3 --partitions 1 --topic test1
启动生产者
./kafka-console-producer.sh --broker-list 192.168.1.25:9092,192.168.1.26:9092,192.168.1.27:9092 --topic test1
打开消费者
./kafka-console-consumer.sh --zookeeper 192.168.1.25:2181,192.168.1.26:2181,192.168.1.27:2181 --topic test1 --from-beginning
在生产者输入内容，同时在消费者可以看到
