栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

hdfs伪分布式部署

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hdfs伪分布式部署

Hadoop 诠释 广义:以hadoop 为软件主的生态圈(sqoop flume spark flink hbase kafka) 狭义:hadoop 软件本身,开源

下载上传:
window电脑,rz命令 winscp软件 ,上传hadoop压缩包到Linux
建用户和文件夹:
useradd owner
id owner
su - owner
mkdir sourcecode software app log data lib tmp
(为什么自己要建个tmp目录,不使用自带的? 定期不访问,根据当前版本特性,默认30天自动清除;)
移动:
exit
mv /tmp/hadoop-3.2.2.tar.gz /home/owner/software/
chown owner:owner /home/owner/software/*
解压:
tar -xzvf hadoop-3.2.2.tar.gz -C …/app/
cd …/app
ln -s hadoop-3.2.2 hadoop
cd hadoop
JAVA安装:
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
生产部署时,确认当前JDK版本在不在该问题列表中;
unzip jdk1.8.0_121.zip
mkdir -p /usr/java
mv jdk1.8.0_121 /usr/java/
chown -R root:root /usr/java/*
/etc/profile配置全局环境变量
vi命令加入:
#owner env
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
source /etc/profile
ssh: 远程登录到目标地址(执行命令)
远程登录:ssh root@ip===》B机器
远程登录再执行命令,ssh root@ip001 date ,之后光标还在当前用户上
vi hadoop-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_121
伪分布式部署:
vi etc/hadoop/core-site.xml

fs.defaultFS hdfs://hadoop001:9000

vi etc/hadoop/hdfs-site.xml

dfs.replication 1

修正用户 用户组:
chown -R owner:owner hadoop/*
su - owner
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys #重中之重
格式化:
bin/hdfs namenode -format
NameNode daemon and DataNode daemon启动:
sbin/start-dfs.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/603622.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号