安装windows依赖
配置环境变量配置 Path 环境变量 IDEA里创建Maven项目
更改pom.xml里的配置信息新建log4j.properties文件创建HdfsClient类
安装windows依赖首先去官网下好对应版本的hadoop for windows依赖,然后修改环境变量。
配置环境变量增加系统变量
然后运行winutils.exe,没有报错说明安装依赖成功
pom.xml 就是 maven 的配置文件,用以描述项目的各种信息
加入如下内容
首先是hadoop版本,为3.1.3
其次junit是一个测试单元。
log4j12是用来打印日志,控制日志级别
org.apache.hadoop hadoop-client 3.1.3 junit junit 4.12 org.slf4j slf4j-log4j12 1.7.30
配置好需要restart一下以下载这些依赖。
这些依赖下载时间有点久,时间又有点晚了等到了第二天…
在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
指INFO级别,在控制台进行打印。
创建HdfsClient类


