栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop-HDFS

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop-HDFS

Hadoop-HDFS
  • 1. 环境配置
  • 2. 测试

边学边写,持续更新中
配合目录用



1. 环境配置
  1. 下载并解压Maven到 /opt 目录下,配置环境变量
    在/etc/profile.d 路径下创建一个 maven.sh 文件,写入以下代码
    source /etc/profile ,用 mvn -v 查看是否安装成功,如图
export MAVEN_HOME=/opt/apache-maven-3.0.5
export PATH=$PATH:${MAVEN_HOME}/bin


2. 更换maven源
vim /opt/apache-maven-3.0.5/conf/settings.xml,在指定位置写入以下代码,如图

    
      nexus-aliyun
      central
      Nexus aliyun
      http://maven.aliyun.com/nexus/content/groups/public/
    

2. 测试
  1. 创建Maven工程
    在 /opt 目录下,创建一个文件夹,进入该文件夹
    mkdir workspace
    在workspace文件夹下,创建项目,如图
    mvn archetype:generate -DgroupId=com.root

    默认回车执行,创建一个maven样例工程
    输入项目名称,定义版本号-默认回车,检查-默认回车。如图
  2. 用 tree hdfs-mkdir/ 查看结构。若提示 tree not found ,按提示安装tree。如图
  3. 打包 mvn package , 输出hello world
    在 hdfs-mkdir 目录下,执行mvn package ,再用 tree hdfs-mkdir/ 会增加如下内容

    运行该打包文件,在/hdfs-mkdir 目录下。结果如图
    java -cp target/hdfs-mkdir-1.0-SNAPSHOT.jar com.root.App
  4. 导入依赖。更改 pom.xml ,写入以下代码,并在如图所示加入版本号
    
      junit
      junit
      RELEASE
    
    
      org.apache.logging.log4j
      log4j-core
      2.8.2
    
    
      org.apache.hadoop
      hadoop-common
      ${hadoop.version}
    
    
      org.apache.hadoop
      hadoop-client
      ${hadoop.version}
    
    
      org.apache.hadoop
      hadoop-hdfs
      ${hadoop.version}
    

  1. 清理上次运行的结果
    mvn clean
    再次运行 mvn package
    运行打包的文件,成功输出
    java -cp target/hdfs-mkdir-1.0-SNAPSHOT.jar com.root.App
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/302167.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号