【Hadoop】安装Hadoop集群（3台主机）

Hadoop的集群安装 1.在Master中的解压Hadoop

tar -xvf hadoop-2.6.6.tar -C /home/hadoop/

2.在Hadoop解压路径下创建四个目录

3.配置 hadoop的配置文件（hadoop安装路径下的etc/hadoop）

(1)配置core-site.xml

sudo vim core-site.xml

在标签中间加入以下配置

	hadoop.tmp.dir
	file:/home/hadoop/hadoop-2.6.5/hdfs/tmp
	A base for other temporary directories.


	io.file.buffer.size
	131072


	fs.defaultFS
	hdfs://master:9000

(2)配置hadoop-env.sh

sudo vim hadoop-env.sh

更改java环境变量

(3)配置yarn-env.sh

sudo vim yarn-env.sh

更改java环境变量

(4)配置hdfs-site.xml

sudo vim hdfs-site.xml

在标签中间加入以下配置

	dfs.replication
	1


	dfs.namenode.name.dir
	file:/home/hadoop/hadoop-2.6.5/hdfs/name
	true


	dfs.datanode.data.dir
	file:/home/hadoop/hadoop-2.6.5/hdfs/data
	true


	dfs.namenode.secondary.http-address
	master:9001


	dfs.webhdfs.enabled
true


	dfs.permissions
	false

(5)配置mapred-site.xml

①　将mapred-site.xml.template重命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

②　在标签中间加入以下配置

   mapreduce.framework.name
   yarn

(6)配置yarn-site.xml

在标签中间加入以下配置

	yarn.resourcemanager.address
	master:18040
 
 
   yarn.resourcemanager.scheduler.address
   master:18030
 
 
   yarn.resourcemanager.webapp.address
   master:18088
 
 
   yarn.resourcemanager.resource-tracker.address
   master:18025
 
 
   yarn.resourcemanager.admin.address
   master:18141
 
 
    yarn.nodemanager.aux-services
    mapreduce_shuffle
 
 
     yarn.nodemanager.auxservices.mapreduce.shuffle.class
     org.apache.hadoop.mapred.ShuffleHandler
 

(7)修改slaves（把原本的localhost删掉，改为slave1和slave2，如图所示）

添加后

4.配置Hadoop环境变量

sudo vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-2.6.5
export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

5.将Master上的所有Hadoop的配置复制到slave1和slave2中

scp -r /home/hadoop/hadoop-2.6.5/ hadoop@192.168.1.5:/home/hadoop/

在slave1节点的/home/hadoop路径下就可以查询得到了

slave2同理，将IP地址更换为slave2节点的IP就可以了
scp -r /home/hadoop/hadoop-2.6.5/ hadoop@192.168.1.4:/home/hadoop/
然后在slave1、slave2上都执行第4步操作（添加环境变量）

6.在Master上格式化Hadoop

hdfs namenode -format

7.添加IP与主机名的映射（三个节点都配置）

sudo vim /etc/hosts

192.168.1.6     master
192.168.1.5     slave1
192.168.1.4     slave2

8.配置免密 (1)生成.ssh文件

ssh localhost

(2)生成密钥

ssh-keygen -t rsa

(3)生成公钥

ssh-copy-id localhost

(4)把免密配置复制到其他节点

scp -r ~/.ssh hadoop@slave1:~
scp -r ~/.ssh hadoop@slave2:~

9.启动Hadoop（如果没有配置免密，需要多次输入密码） 方法一：start-all.sh

方法二：先启动start-dfs.sh，然后再启动start-yarn.sh 10.停止Hadoop 方法一：stop-all.sh 方法二：先启动stop-dfs.sh，然后再启动stop-yarn.sh