栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据实验笔记1

大数据实验笔记1

大数据实验笔记1

*本文内容是基于阿里云的hadoop的安装部署
*20211105:ip地址:9870仍无法访问,原因未知

老师提供的实验一文档:
我在这里哦
从网络上搜索的资料:
以下内容均无授权,均为个人记录
1.Hadoop常用命令
2.基于阿里云搭建hadoop集群时9870端口打不开的解决方法
3.云服务器搭建hadoop
4.华为云防火墙的开关
5.hadoop安装过程中可能出现的问题
6.开关hadoop
帮助文档
1.华为云服务器(linux系统下)如何配置防火墙
2.阿里云服务器(ubuntu)如何配置防火墙
3.教材配套实验的hadoop的安装
4.vim教程
5.linux系统下安装hadoop(2.7.1)的教程

  • 如果在执行sudo apt install openjdk-8-jdk命令时发生E: Unable to locate package openjdk-8-jdk-he的错误,先执行sudo apt-get update命令再执行一次jdk下载命令。
  • 配置完JAVA_HOME之后输入
echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version

如果配置正常,后面两个命令输出的结果是一样的

  • vi/vim编辑模式要记得先按下“i”后才可以编辑(大概是这么个意思反正)
  • 安装hadoop:
    wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz
  • 解压缩:
    sudo tar -zxvf hadoop-3.3.0-aarch64.tar.gz -C /usr/local/
  • cd /usr/local/进入目录,更改文件名sudo mv hadoop-3.3.0 hadoop
  • 赋权

配置hadoop

  • 输入vim ~/.bashrc,将下列代码放进文件开头
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 执行命令source ~/.bashrc使配置生效

配置单机模式

  • cd /usr/local/hadoop进入hadoop目录
  • 创建文件夹mkdir input
  • 拷贝文件cp etc/hadoop/*.xml input
  • 运行一个示例bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'
  • 查看输出cat output/*

  • 后面懒得写了反正就是按部就班的
    找不到java_home的解决方案1
    运行hadoop命令执行后通过jps命令发现
  • 缺少namenodes节点
  • 缺少datanodes节点
    *linux删除命令汇集
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/457941.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号