栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

配置hadoop开发环境

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

配置hadoop开发环境

用eclipse编写java代码实现hdfs的操作
  • 安装eclipse
  • 配置环境
    • 建立项目

安装eclipse

1.下载

网址链接: http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/neon/1a/eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz.
下载eclipse安装包


2.安装

命令

tar zxvf eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz -C /home/hadoop


配置环境

1.下载与eclipse对应的hadoop-eclipse-plugin 2.6.0.jar (要求Linux系统一致、hadoop版本一致、需与eclipse匹配)

2.放到解压后的eclipse目录中的plugins中

直接可视化操作(把jar包复制到虚拟机里,找到eclipse目录中的plugins,把jar包拖动到里面)

或者

命令

cp hadoop-eclipse-plugin-2.6.0.jar //home/hadoop/eclipse/plugins/

3.找到eclipse安装目录。比如我是安装在/home/hadoop下面
可视化操作找到eclipse
点击make link
得到eclipse的快捷方式
然后把它拖动到桌面,方便下次直接进入桌面打开eclipse


接下来就可以建立项目了
注意: 建立项目前要先启动集群
(我把启动集群的命令放到一个记事本里,下次要用可以直接从里面复制,一步到位)
比如,我的命令

cd /home/hadoop/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
jps


建立项目

1.显示MapReduce窗口:Window->show views->other->mapreduce location

2.打开MapReduce视图:window->perspective->open perspective->other->mapreduce

3.新建一个MapReduce项目:先选择reduce location ,再点击右边的图标
其中port号按照hdfs-site.xml 和core-site.xml来填写


下图为成功创建集群

5.建立一个MapReduce项目
右击->new->project->mapreduce


然后就是写项目名字和选择hadoop路径了
(路径为安装的hadoop目录的位置)

点击完成


添加包路径(主要就是common下的jar包和lib里的所有包,hdfs下的jar包和lib所有包)

common下的jar包
lib下的所有包(选中第一个,按住shift键,选最后一个则全部选中)
同理
hdfs下的jar包和lib所有包


到此就配置好了


之后就是正常的java项目流程
在src下创建包
在包下创建类

结束。
可以自行编写java代码啦。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/333140.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号