栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop伪分布式集群搭建

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop伪分布式集群搭建

 

systemctl-cmd --state   //查看防火墙状态
systemctl stop firewalld.service
systemctl disable firewalld.service

修改主机名
vi /etc/hostname

静态ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static"
ONBOOT="yes"
IPADDR="192.168.110.101"
GATEWAY="192.168.110.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"

syestemctl  restart network

主机名映射
vi /etc/hosts
192.168.110.101 shmily


ssh免密配置
ssh-keygen -t rsa -P ' '
ssh-copy-id 节点2
ssh-copy-id 节点3


java环境配置
export JAVA_HOME=/usr/local
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile  //更新系统环境变量
java -version   //查看java版本


Hadoop环境配置
tar -zxvf 压缩包存放路径 -C /usr/local     //解压hadoop压缩包

export HADOOP_HOME=/usr/local
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

cd /usr/local/hadoop/etc/hadoop
修改配置文件
vi hadoop-env.sh
export JAVA_HOME=/usr/local

vi core-site.xml

    fs.defaultFS
    hdfs://shmily:9000


    hadoop.tmp.dir
    /usr/local/hadoop/data/tmp         //手动创建/data/tmp文件夹mkdir -p /data/tmp


vi hdfs-site.xml


dfs.namenode.name.dir

file:///home/hadoopdir/dfs/name

hdfs元数据存存储目录





dfs.datanode.data.dir

 /home/hadoopdir/dfs/data,/home/hadoopdir/dfs/data1,/home/hadoopdir/dfs/data2

DataNode在本地文件系统中存放块的路径,会自动选用多个目录进行数据存储。如果是多个路径,请用逗号隔开。在企业生产环境中,数据量会非常大,请将这个目录设置到磁盘容量充足的目录。





dfs.replication

1

备份数量,伪分布式则将其配置成1




vi mapred-site.xml

    mapreduce.framework.name
    yarn


vi yarn-site.xml

    yarn.nodemanager.aux-services
    mapreduce_shuffle


scp -r /usr/hadoop shmily1:/usr

hadoop namenode -format      //格式化namenode
hadoop version  查看Hadoop版本

start-all.sh    //启动集群
stop-all.sh  //关闭集群

shmily:50070   //hdfs网页UI
shmily:8088  //yarn网页UI

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978536.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号