栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

hadoop2.7.5 安装配置

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hadoop2.7.5 安装配置

登录mysql 执行

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

flush privileges;

安装hadoop

tar -zxvf hadoop-2.7.5.tar.gz -C /export/servers

配置环境变量,使hadoop命令全局可执行

vim /etc/profile

//在最后添加

#hadoop_home
 export HADOOP_HOME=/export/servers/hadoop-2.7.5
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新

source /etc/profile

配置hadoop配置文件,这六个都要配置

6、修改hadoop配置文件 

​hadoop-env.sh
core-site.xml
hdfs-site.xml
slaves
mapred-siteml.template
yarn-site.xml.x

进入配置文件所在目录

/export/servers/hadoop-2.7.5/etc/hadoop

第一个:

vim打开 hadoop-env.sh

将jdk路径修改上去

export JAVA_HOME=/export/servers/jdk1.8.0_141

第二个:

vim打开 vim core-site.xml

在最后面configuration括号里添加


        
fs.defaultFS        
hdfs://hd1:9000    

 
hadoop.tmp.dir       
/export/servers/hadoop-2.7.5/hadoopdata 



注意:需要在hadoop的安装目录下创建一个hadoopdata文件文件夹用来存放数据,还有主机号要修改


第三个:

vim 打开 hdfs-site.xml

和第二步一样,在 configuration 内添加


dfs.replication
2


dfs.namenode.secondary.http-address
hd1:50090

这个文件是配置备份文件数量,2代表备份数量,hd1代表备份在hd1主机下


第四个:

这个文件存放集群有哪些主机

vim 打开 slaves

删除第一行,添加

hd1
hd2
hd3

第五个:

需要先将 mapred-siteml.template 这个文件修改成 mapred-siteml 将后缀名去掉

cp mapred-site.xml.template mapred-site.xml

直接在括号里添加


mapreduce.framework.name
yarn


第六个:

vim 打开 yarn-site.xml 也是在 configuration 内添加

只有主机名要修改hd1


yarn.resourcemanager.hostname
hd1


yarn.nodemanager.aux-services
mapreduce_shuffle


分发文件

配置完成,将配置文件传给其他两个主机

scp -r /export/servers/hadoop-2.7.5/ root@hd2:/export/servers/

scp -r /export/servers/hadoop-2.7.5/ root@hd3:/export/servers/

环境变量也要分发

scp -r /etc/profile root@hd2:/etc
scp -r /etc/profile root@hd3:/etc

在hd2 和 hd3 内也要刷新配置文件使生效

source /etc/profile

初始化工作

执行

hadoop namenode -format

启动

start-all.sh 

验证是否安装成功

如果正常 hd1 6个进程,其他3个进程

jps 

CID-7372120b-a3ed-4206-93e7-c4e02018c0fd

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/460152.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号