Hadoop集群配置及启动

目录

进入hadoop目录

编辑hadoop-env.shwenjian

 编辑core-site.xml文件

 编辑hdfs-site.xml文件

 编辑mapred-site.xml文件

编辑yarn-site.xml文件

添加主机名。删除默认的localhost

将集群主节点的环境变量拷贝到另外两台子节点上

将Hadoop，jdk整个文件拷贝并覆盖到另外两台子节点

Hadoop集群测试

关闭防火墙

全部启动

输入jps查看

 在浏览器上方输入ip地址加端口号查看

进入hadoop目录

cd /usr/local/src/hadoop/etc/hadoop

编辑hadoop-env.shwenjian

vim hadoop.env.sh

 编辑core-site.xml文件

vim core-site.xml

#翻到最下面

        
                fs.defaultFS
                hdfs://slave:9000
        
        
                hadoop.tmp.dir
                /usr/local/src/hadoop/Data/tmp
        

 编辑hdfs-site.xml文件

vim hdfs-site.xml

#翻到最下面

        
                dfs.relication
                3

 编辑mapred-site.xml文件

vim mapred-site.xml

#翻到最下面

        
                mapreduce.framework.name
                yarn
        

编辑yarn-site.xml文件

vim yarn-site.xml

#翻到最下面



        
                yarn.resourcemanager.hostname
                slave
        
        
                yarn.nodemanager.aux-service
                mapreduce_shuffle
        

添加主机名。删除默认的localhost

vim slaves

slave        #第一台主机名
slave1       #第二台主机名
slave2       #第三台主机名

将集群主节点的环境变量拷贝到另外两台子节点上

将环境变量拷贝到另外两台主机

scp -r /root/.bash_profile slave1:/root/.bash_profile

scp -r /root/.bash_profile slave2:/root/.bash_profile

使环境变量立即生效

source /root/.bash_profile

将Hadoop，jdk整个文件拷贝并覆盖到另外两台子节点

scp -r /usr/local/src/ slave1:/usr/local/

scp -r /usr/local/src/ slave2:/usr/local/

Hadoop集群测试

格式化hadoop命令

hdfs namenode -format

启动namenode

hadoop-daemon.sh start namenode

启动datanode

hadoop-daemon.sh start datanode

启动resourcemanager

yarn-daemon.sh start resourcemanager

启动nodemanager

yarn-daemon.sh start nodemanager

启动secondarynamenode

hadoop-daemon.sh start secondarynamenode

关闭防火墙

临时关闭防火墙

systemctl stop firewalld

彻底关闭防火墙

systemctl disable firewalld.service

全部启动

cd /usr/local/src/hadoop/sbin

start-all.sh

输入jps查看

 在浏览器上方输入ip地址加端口号查看