hadoop集群搭建

一.需要三台主机(1台虚拟机，克隆两个)

192.168.137.1        father    MAC地址不同

192.168.137.2        son01     MAC地址不同

192.168.137.3        son02     MAC地址不同

1.1 主机配置

a>先查看父主机ip地址

# ip addr 

# vi /etc/sysconfig/network-scripts/ifcfg-ens33

b>重启网卡：

# systemctl  restart  network.service

1.2主机改名

# vi /etc/hostname (修改主机名为：father )

1.3hosts 映射

# vi /etc/hosts（修改主机映射）

192.168.137.1   father .com   father 

192.168.137.2    son01.com   son01

192.168.137.3    son02.com   son02

1.4创建一个用户

#useradd  father(用户名)

#passwd  father(用户名)

然后输入两次密码，用户创建成功

1.5给创建用户设置免密root权限

a>#修改/etc/sudoers文件权限 （#chmod 640 sudoers）

b>修改文件 /etc/sudoers  (# vi /etc/sudoers)

c>进入文件之后，在首行填加  （ father ALL=(root)NOPASSWD:ALL）

1.6关闭防火墙

a>查看防火墙

#systemctl status firewalld.service

b>关闭防火墙

#systemctl stop firewalld.service

c>永久关闭防火墙

#systemctl disable firewalld.service

d>开启SSHD 服务

#systemctl start sshd

1.8安装jdk

a>将jdk包拷贝到/home/father/softwares下   （注：拷贝进的jdk包必须为拥有者为用户）

b>解压安装包到当前目录

#tra  -zxvf   jdk-7u67-linux-x64.tar.gz -C ../modules

c>配置jdk环境变量

#sudo vi /etc/profile

尾行加入：export JAVA_HOME=/home/father/modules/jdk1.7.0_67

                 export PATH = $PATH:$JAVA_HOME/bin:

添加完成之后刷新配置文件：#source /etc/profile

二.克隆另外两台主机

2.1 完成之后 修改IP地址与主机名（修改方法如上1.1，1.2）

2.2 再次回到father主机，设置SSH免密登录

#ssh-keygen -t rsa   （用来生成公钥私钥）  需敲四次回车

完成之后将生成密钥发送自己以及另外两台主机

#ssh-copy-id father

#ssh-copy-id son01

#ssh-copy-id son02

三.安装hadoop

3.1修改hadoop权限

# chmod 764 hadoop

3.2拷贝hadoop安装包并解压

#tar -zxvf hadoop-2.7.1 -C ../modules

3.3配置环境变量

(方法如上1.8 c>#sudo vi /etc/profile，进入之后最下方)

export JAVA_HOME=/home/father/modules/jdk1.7.0_67

export HADOOP_HOME=/home/father/modules/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

3.4在/home/father之下新建文件hadoopdata (3.5中 c>需要)

#mkdir hadoopdata

3.5修改hadoop配置文件

a>修改hadoop-env.sh

修改配置文件中jdk的路径

export JAVA_HOME=/opt/modules/jdk1.7.0_67

b>修改  core-site.xml

fs.defaultFS

hdfs://master:8020

io.file.buffer.size

4096

c>修改hdfs-site.xml

dfs.replication

3

dfs.block.size

134217728

dfs.namenode.name.dir

/home/father/hadoopdata/dfs/name

dfs.datanode.data.dir

/home/father/hadoopdata/dfs/data

fs.checkpoint.dir

/home/father/hadoopdata/checkpoint/dfs/cname

fs.checkpoint.edits.dir

/home/father/hadoopdata/checkpoint/dfs/cname

   dfs.http.address

   master:50070

   dfs.secondary.http.address

   son01:50090

dfs.webhdfs.enabled

true

dfs.permissions

false

d>​​​​​​​修改mapred-site.xml文件

mapreduce.framework.name

yarn

true

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

e>​​​​​​​修改yarn-site.xml

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.address

master:8032

yarn.resourcemanager.scheduler.address

master:8030

yarn.resourcemanager.resource-tracker.address

master:8031

yarn.resourcemanager.admin.address

master:8033

yarn.resourcemanager.webapp.address

master:8088

f>​​​​​​​修改slaves文件(每个机器占一行)

father

son01

son02

3.6 将本地hadoop整个目录，复制到其他节点（重点）

scp -r  ./hadoop-2.7.1 /father@son01: /home/father/modules

scp -r  ./hadoop-2.7.1 /father@son02: /home/father/modules

3.7格式化hadoop

# hadoop namenode -format

3.8​​​​​​​启动hadoop

# start-all.sh

3.9在modules中新建文件a.txt

    # hdfs dfs -put a.txt   将文件传入到hadoop

四.web访问端口：http://192.168.137.1:50070