栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

centos6最小化安装hadoop集群-简简单单

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

centos6最小化安装hadoop集群-简简单单

 

 

 

没有图片的都是默认下一步

 

 下一步就开机装一下镜像就行了

编辑IP地址

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

修改

BOOTPROTO=static

onBOOT=yes

添加

IPADDR=192.168.21.101

NETMASK=255.255.255.0

GATEWAY=192.168.21.2

DNS1=192.168.21.2

DNS2=8.8.8.8

重启网络服务

service network restart

修改hosts文件

vi /etc/hosts   dd 删除文件内所有内容

添加

192.168.21.101  lwm101

192.168.21.102  lwm102

192.168.21.103  lwm103

在opt目录下创建文件

mkdir module software

在SecureFX把jdk和hadoop拉到虚拟机的/opt/software/目录下

cd  /opt/software目录下安装jdk和hadoop

tar  -zxvf  jdk-8u241-linux-x64.tar.gz  -C  /opt/module/

tar  -zxvf  hadoop-2.7.2.tar.gz  -C  /opt/module/

配置jdk和hadoop环境变量

sudo  vi  /etc/profile  在这个文件最后面加下面灰色框的内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_241/

export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存后使修改的文件生效

source  /etc/profile

在cd  /opt/module/hadoop-2.7.2/etc/hadoop目录下配置集群文件

vi    core-site.xml

      fs.defaultFS

        hdfs://lwm101:9000

 

 

 

      hadoop.tmp.dir

      /opt/module/hadoop-2.7.2/data/tmp

vi  hdfs-site.xml

 

      dfs.replication

      3

 

 

        dfs.namenode.secondary.http-address

        lwm103:50090

vi  yarn-site.xml

 

 

       yarn.nodemanager.aux-services

       mapreduce_shuffle

 

 

 

      yarn.resourcemanager.hostname

      lwm102

cp  mapred-site.xml.template  mapred-site.xml

vi  mapred-site.xml

     

 

      mapreduce.framework.name

      yarn

把下面JAVA_HOME路径改为这个:/opt/module/jdk1.8.0_241/

vi  hadoop-env.sh

vi  yarn-env.sh

vi  mapred-env.sh

配置slaves 

vi  slaves     dd 删除文件内所有内容

lwm101

lwm102

lwm103

上面配置完就开始克隆出lwm102和lwm103,以lwm102为例子

vi  /etc/udev/rules.d/70-persistent-net.rules

 

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

vi  /etc/sysconfig/network

 

重启网络服务

service network restart

然后reboot重启就好了,改lwm103和上面步骤一样

克隆好了设置ssh无密码登录

ssh-keygen  -t  rsa

ssh-copy-id lwm101

ssh-copy-id lwm102

ssh-copy-id lwm103

在lwm101格式化namenode

hadoop  namenode  -format

在lwm101上启动服务

cd  /opt/module/hadoop-2.7.2/sbin/

start-dfs.sh

在lwm102上启动服务

cd  /opt/module/hadoop-2.7.2/sbin/

start-yarn.sh

(十三)关闭防火墙

//临时关闭

service iptables stop

//禁止开机启动

chkconfig iptables off

网页搜索192.168.21.101:50070和192.168.21.102:8088前去把主机的VMnet8启动

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/786384.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号