hadoop2.7.2分布式集群搭建(三台)

• 系统环境搭建
• • 1、三台节点设置主机名和IP
  • 2、配置主机的映射
  • 3、ssh免密登录
  • 4、关闭防火墙
  • 5、关闭seliunx
  • 6、安装jdk
  • 7、设置ntp时间同步服务
  • 8、安装搭建分布式hadoop

    vi /etc/sysconfig/network-scripts/ifcfg-ens33
	ONBOOT=yes
	IPADDR=填自己的IP
	GATEWAY=192.168.2.2
	NETMASK=255.255.255.0
	DNS1=114.114.114.114
	DNS2=8.8.8.8

    vi /etc/hosts
	修改主机名
	hostnamectl set-hostname hadoop101
	使其生效
	exec bash

    1、产生公钥和私钥：ssh-keygen -t rsa (回车四次)
	2、将公钥分发给所有节点（包括本身）：ssh-copy-id -i 主机名
	3、测试ssh访问：ssh root@主机名

    1、关闭防火墙：systemctl stop firewalld
	2、防止开机自启：systemctl disable firewalld
	3、查看状态：firewall-cmd --state

    1、编辑  vi /etc/selinux/config
	2、将seliunx设置为disabled  SELINUX=disabled
	3、sestatus -v 查看结果：结果为disabled表示为已经关闭

    1、在指定目录上传文件
	2、解压 tar -zxvf jdk-8u51-linux-x64.tar.gz
	3、配置环境变量    vi /etc/profile
	export JAVA_HOME=/opt/software/jdk1.8.0_51
	export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	4、配置完使其生效
	source /etc/profile
    5、查看jdk版本
	Java -version

    1、yum -y install ntp 所有节点下载ntp服务
	2、chkconfig ntpd on 设置开机自启动 
	3、将restrict default kod nomodify notrap nopeer noquery 修改为restrict default nomodify
	4、主节点添加
	restrict 主节点IP mask 255.255.255.0 nomodify notrap
	server 127.127.1.0
	fudge 127.127.1.0 stratum 10
	5、副节点注释所有server并添加：
	restrict 主节点IP nomodify notrap noquery
	server 主节点IP
	6、所有节点设置重新启动
	Service ntpd restart
	7、查看是否同步 ntpq -p

    1、上传并解压安装包
	tar -zxvf hadoop-2.7.2.tar.gz
	2、配置环境变量使其生效
	export HADOOP_HOME=/usr/local/hadoop-2.7.2
	export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
	3、配置hadoop/etc/hadoop中的文件

    在yarn-site.xml中添加
		
			
				yarn.resourcemanager.hostname
				hadoop101
			
			
				yarn.nodemanager.aux-services
				mapreduce_shuffle
			
			
				yarn.nodemanager.aux-services.mapreduce.shuffle.class
				org.apache.hadoop.mapred.ShuffleHandler
			
		

    在mapred-site.xml中添加
		
			
				mapreduce.framework.name
				yarn
			
		

    在hdfs-site.xml中添加
		
			
				dfs.namenode.http-address
				hadoop101:50070
			
			
				dfs.namenode.secondary.http-address
				hadoop102:50090
			
			
				dfs.namenode.name.dir
				/opt/software/hadoop-2.7.2/name
			
			
				dfs.replication
				2
			
			
				dfs.datanode.data.dir
				/opt/software/hadoop-2.7.2/data
			
		

     在core-site.xml中添加
		
			
				fs.defaultFS
				hdfs://hadoop101:9000
			
			
				hadoop.tmp.dir
				/opt/software/hadoop-2.7.2/tmp
				
		

     在hadoop-env.sh中添加
	 JAVA_HOME=/usr/local/jdk1.8.0

     新建一个masters的文件,这里指定的是secondary namenode 的主机，将主节点的IP添加进去
	 hadoop102

	 在slaves中添加副节点和ip
	 hadoop102
	 hadoop103

     分发到其他节点
	 scp -r /opt/software/hadoop-2.7.2 root@Hadoop102:/opt/software/
	 scp -r /opt/software/hadoop-2.7.2 root@hadoop103:/opt/software/

     格式化主节点
	 hadoop namenode -format

     启动hadoop集群
	 ./sbin/start-dfs.sh
	 ./sbin/start-yarn.sh

启动之后主节点是：
:
副节点是：