栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS入门

HDFS入门

HDFS入门
【实验要求】

    安装配置好jdk;构建Maven环境;Eclipse中使用Maven构建HDFS API;
    【实验目的】了解HDFS文件系统;掌握HDFS的架构及核心组件的职能;掌握HDFS数据的读写流程;HDFS常用操作(Shell/Java API);了解Hadoop2.0中HDFS相关的新特性。
    实验环境Hadoop集群。Windows环境。
    实验内容与完成情况
    项目一 HDFS入门
    任务一 Eclipse中使用Maven构建HDFS API。
    1.验证,在cmd输入mvn -v。

2.在D盘下创建MyWorks文件夹,从cmd中进入到D盘下的MyWorks文件夹中,然后用Maven创建一个标准化的Java项目。

3.通过DOS进入刚才所构建的项目目录内部执行:(cd myHadoop)->执行mvn clean install。

4.启动Eclipse,导入刚才创建的项目。

5.修改项目下的pom.xml,增加Hadoop依赖。

6.再次执行mvn clean install。

7.从Hadoop集群中下载以下三个配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml。

8.启动hadoop集群



    修改hdfs-site.xml文件,在之间添加如下内容并上传至Hadoop集群。

10.修改配置本地host—在C:WindowsSystem32driversetc。在修改时会弹出权限不足的错误,需进行如下操作:选中host,右击点击属性,选择安全,点击编辑,完全控制勾选允许。

11.添加系统环境变量HADOOP_USER_NAME,值为admin(登录Hadoop用户)

12.core-site.xml中的fs.defaultFS值

13.修改系统登录用户名为Hadoop的登录用户名:admin,更改完成后需重启电脑,用户名才能生效

4.在Hadoop集群中修改hdfs的用户权限:hadoop fs -chmod 777 /

5.编辑App.Java

6.运行结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/706725.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号