栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Hadoop复习

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop复习

ssh免密登录:

生成自己的密钥

ssh-keygen -t rsa

 将自己的公钥发送到需要免密登录的虚拟机

 ssh-copy-id hadoop104

 完全分布式的配置:

vim core-site.xml

 


       
                fs.defultFS
                hdfs://hadoop102:8020
       

       
                hadoop.tmp.dir
                /opt/module/hadoop-3.1.3/data
       


 

 vim hdfs-site.xml 


       
                dfs.namenode.http-address
                hadoop102:9870
       

       
                dfs.namenode.secondary.http-address
                hadoop104:9868
       

vim yarn-site.xml

 


       
                yarn.nodemanager.aux-services
                mapreduce_shffle
       

         
                yarn.resourcemanager.hostname
                hadoop103
       

         
                yarn.nodemanager.env-whitelist
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
       

vim mapred-site.xml


         
                mapreduce.framework.name
                yarn
       

之后使用scp命令将文件复制到其他虚拟机

 初始化集群

hdfs namenode -format

 在hadoop102上启动hdfs

sbin/start-dfs.sh

 在hadoop103上启动yarn

sbin/start-yarn.sh

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/973653.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号