栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 数据挖掘与分析

2021-09-28 Eclipse中使用Maven构建HDFS API

2021-09-28 Eclipse中使用Maven构建HDFS API

1.构建Maven环境,配置系统环境变量后验证:在cmd输入mvn –v
2.设置localRepository:在config文件夹中找到setting.xml

3.测试—输入mvn help:system


4.在Eclipse中关联Maven:window->preference->maven add maven的安装路径

5.更改settings的位置

6.用Maven创建一个标准化的java项目:采用命令行方式创建

创建完成后通过DOS进入刚才所创建的项目目录内部执行mvn clean install(cd myHadoop)


7.启动eclipse,导入刚才创建的项目


8.修改项目下的pom.xml,增加Hadoop依赖

9.再次执行mvn clean install

10.从hadoop 集群中下载以下三个配置文件:
core-site.xml hdfs-site.xml mapred-site.xml

11.修改hdfs-site.xml文件,在之间添加如下内容并上传至Hadoop集群

12.修改配置本地host—在C:WindowsSystem32driversetc下
192.168.10.112 hadoop-ha (Hadoop的namenode节点地址)

13.添加系统环境变量HADOOP_USER_NAME,值为admin(登录hadoop的用户)


14.修改core-site.xml中的fs.defaultFS值,添加如下内容

15.修改系统登录用户名为Hadoop的登录用户 : admin

16.在Hadoop集群中修改hdfs的用户权限:hadoop fs –chmod 777/

17.启动hadoop 平台


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/278691.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号