*本文内容是基于阿里云的hadoop的安装部署
*20211105:ip地址:9870仍无法访问,原因未知
老师提供的实验一文档:
我在这里哦
从网络上搜索的资料:
以下内容均无授权,均为个人记录
1.Hadoop常用命令
2.基于阿里云搭建hadoop集群时9870端口打不开的解决方法
3.云服务器搭建hadoop
4.华为云防火墙的开关
5.hadoop安装过程中可能出现的问题
6.开关hadoop
帮助文档
1.华为云服务器(linux系统下)如何配置防火墙
2.阿里云服务器(ubuntu)如何配置防火墙
3.教材配套实验的hadoop的安装
4.vim教程
5.linux系统下安装hadoop(2.7.1)的教程
- 如果在执行sudo apt install openjdk-8-jdk命令时发生E: Unable to locate package openjdk-8-jdk-he的错误,先执行sudo apt-get update命令再执行一次jdk下载命令。
- 配置完JAVA_HOME之后输入
echo $JAVA_HOME java -version $JAVA_HOME/bin/java -version
如果配置正常,后面两个命令输出的结果是一样的
- vi/vim编辑模式要记得先按下“i”后才可以编辑(大概是这么个意思反正)
- 安装hadoop:
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz - 解压缩:
sudo tar -zxvf hadoop-3.3.0-aarch64.tar.gz -C /usr/local/ - cd /usr/local/进入目录,更改文件名sudo mv hadoop-3.3.0 hadoop
- 赋权
配置hadoop
- 输入vim ~/.bashrc,将下列代码放进文件开头
export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 执行命令source ~/.bashrc使配置生效
配置单机模式
- cd /usr/local/hadoop进入hadoop目录
- 创建文件夹mkdir input
- 拷贝文件cp etc/hadoop/*.xml input
- 运行一个示例bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'
- 查看输出cat output/*
后面懒得写了反正就是按部就班的
找不到java_home的解决方案1
运行hadoop命令执行后通过jps命令发现- 缺少namenodes节点
- 缺少datanodes节点
*linux删除命令汇集



