栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

安装 Hadoop 本地模式并做计数测试

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

安装 Hadoop 本地模式并做计数测试

一、关闭 Linux 防火墙和 SELniux 服务

1.关闭防火墙

#    systemctl stop firewalld.service
#    systemctl disable firewalld.service

2.关闭 SELinux 服务

#    vi /etc/sysconfig/selinux

将 SELINUX= enforcing  改为 SELINUX=disabled

 退出后:

# setenforce 0

二、安装 JDK(CentOS7 JDK 安装)(在上一期博客中,这里不在过多赘述)

三、安装 Hadoop

1.进入 opt 文件创建 hadoop 文件夹

# cd /opt

上传 hadoop 到 /opt 文件夹

2.解压安装 hadoop

# tar -zxvf hadoop-2.9.2.tar.gz

 3.配置 hadoop 环境

# vi /etc/profile              //内容如下

JAVA_HOME=/opt/jdk1.8.0_11
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
export HADOOP_HOME=/opt/hadoop-2.9.2
export JAVA_HOME=/opt/jdk-1.8.0_11
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
# source /etc/profile

# vi /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_11

# source /etc/profile //配置变量
# whereis hdfs     //验证环境变量

查看 hadoop 版本

# cd hadoop-2.9.2     //重要步骤,如果不进入 hadoop 文件夹则无法实现查看命令
 
 
# ./bin/hadoop version

使用 mapreduce 测试 Word Count (文字计数) 

# sudo vi /home/suyu/data.input           //打开后输入下列文字

doop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

//:wq 保存退出

 使用下列代码: mapreduce 模块在这里的作用就是统计 data.input 文件中各个单词出现的次 数。输出为 output

# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /home/suyu/data.input output
#    cd ./output      //进入 output  目录
#    ls –l      //使用 ls -l 查看目录文件

#    cat part-r-00000//查看统计数据

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/760649.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号