HADOOP安装与部署

目录

• 虚拟机配置
• • 配置静态ip
  • 配置HOST映射
  • 生成密钥对
  • • 将子节点的公钥拷贝到主节点
• JDK的安装
• • 解压缩
  • 配置环境变量
• HADOOP的安装
• • 配置环境变量
  • 配置文件
  • • 配置hadoop-env.sh
    • 配置yarn-env.sh
    • 配置core-site.xml
    • 配置hdfs-site.xml
    • 配置mapred-site.xml
    • 配置yarn-site.xml
    • 修改slave文件
    • 将配置文件分发
  • 集群测试
  • • 格式化文件系统
    • 启动hadoop集群

虚拟机配置

主机	ip地址
master	192.168.68.12
slave1	192.168.68.13
slave2	192.168.68.14

配置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-ens32 

#原值为dhcp，修改为static
BOOTPROT="satic"
添加IPADDR，对应的值要与原ip在同一网段
IPADDR=xxx.xxx.xxx.xxx
添加NETMASK，指定子网掩码，默认为255.255.255.0
NETMASK=255.255.255.0
添加GATEWAY，要与虚拟机网卡的设置一致，默认仅主机模式为1,NAT模式为2
GATEWAY=xxx.xxx.xxx.1/2
#如果需要连入外网，则可以添加DNS1和DNS2配置，通常会将DNS1指定为网关地址
DNS1=网关地址
DNS2=8.8.8.8

配置HOST映射

vi /etc/hosts

192.168.68.12 master
192.168.68.13 slave1
192.168.68.14 slave2

生成密钥对

ssh-keygen

将子节点的公钥拷贝到主节点

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

JDK的安装 解压缩

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/software/

配置环境变量

export JAVA_HOME=/export/software/jdk
export PATH=$JAVA_HOME/bin:$PATH
#刷新变量
source /etc/profile

HADOOP的安装 配置环境变量

vi /etc/profile

export HADOOP_HOME=/export/software/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置文件 配置hadoop-env.sh

export JAVA_HOME=/export/software/jdk

配置yarn-env.sh

export JAVA_HOME=/export/software/jdk

配置core-site.xml

	
		fs.defaultFS
		master:9000
	
	
		hadoop.tmp.dir
		/export/software/hadoop/etc/hadoop/tmp
	

配置hdfs-site.xml

	
		dfs.replication
		3
	
	
		dfs.namenode.secondary.http-address
		slave1:50090
	

配置mapred-site.xml

	
		mapreduce.framework.name
		yarn
	

配置yarn-site.xml

	
		yarn.resourcemanager.hostname
		master
	
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	

修改slave文件

vi slaves
#填入三行主机名
master
slave1
slave2

将配置文件分发

scp -r /export/software/hadoop-2.4.1 slave1:/export/software/
scp -r /export/software/hadoop-2.4.1 slave2:/export/software/

集群测试 格式化文件系统

hadoop namenode -format

启动hadoop集群

start-dfs.sh
start-all.sh