栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop订单项目实战

hadoop订单项目实战

1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件

2.删除test文件夹

修改RawMapducer.java文件的路径地址

3.修改pom.xml文件
删除该文件的一下内容:


  org.apache.commons
  commons-io
  1.3.2
  test


  commons-httpclient
  commons-httpclient
  3.1
  test


  org.apache.hadoop
  hadoop-test
  2.0.0-mr1-cdh4.3.1
  test


  junit
  junit
  4.8.2
  test

并修改如下:


  org.apache.hadoop
  hadoop-client
  3.3.1

4.将windows系统下的文件上传到服务器的hadoop系统上,使用sftp工具在windows系统下找到hadoop项目文件和老师所给的transactions.txt和users.txt文件通过拖拽到服务器上的hadoop文件系统即可,也可以通过复制粘贴方法。

5.通过putty工具远程连接服务器主机

6.格式化配置的HDFS文件系统:hadoop namenode -format

7.进入hadoop文件系统:cd /usr/local/hadoop

8.依次创建对应的数据所在文件夹
注意:新建目录集/user/path/users与/users/path/transactions/ 请注意,目录需要一层层创建,否则会出错。

9.把hadoop系统中的transactions.txt和users.txt文件放到users与transactions文件夹中。

10.进入到该项目的target目录下启动分布式文件系统:start-dfs.sh和start-yarn.sh

10.执行该命令运行该项目:

hadoop jar java-mapreduce-1.0-SNAPSHOT-jar-with-dependencies.jar

Transactions的路径:

/home/hadoop/Hadoop_3/hive/data/transactions

Users的路径:
/home/hadoop/Hadoop_3/hive/data/users

/home/hadoop/Hadoop_3/java-mapreduce/target

11.在网页输入主机IP+:9870地址,查看运行结果输出的文件

三、中间遇到的问题

1.在网页没有查看到output文件
需要把staging文件夹通过命令行删除:
bin/hadoop fs -rm -r /user/path/staging
错误显示界面如下:

正确显示界面如下;

2.点击Download无法下载问题,浏览器显示访问的网页无法访问问题
在自己windows-》System32-》drivers-》etc-》hosts文件使用记事本软件打开最后添加上自己服务器主机的:IP+主机名称(中间用一个英文空格隔开)。修改完成即可通过浏览器访问下载文件

下载的结果文件使用记事本打开如下:

四、实验总结:
虽然本次实验画了一些时间,去摸索查资料如何运行hadoop项目。在操作过程中也踩了不少的坑,但是到最后还是成功解决,在解决过程中需要内心去查资料,参考别人的解决方法。等自己把该项目运行成功就很有成就感,感觉并没有那么高深莫测也没有那么难,就是那样而已。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/329642.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号