Hadoop版本:3.1.1
0、直接在linux桌面上进行环境搭建,windows坑比较多,不进行尝试
1、安装idea、jdk8和maven,maven貌似有版本要求的,我装的3.8.5
2、安装ptotobuf,版本必须是2.5.0,配置好环境变量,执行protoc --version能得到如下结果即安装成功
3、编译Hadoop,在Hadoop代码根目录下执行:mvn clean package -Pdist -DskipTests
4、配置环境变量:
export HADOOP_HOME=/data/hadoop/hadoop-dist/target/hadoop-3.1.1 export HADOOP_CONF_DIR=/data/hadoop/hadoop-dist/target/hadoop-3.1.1/etc/hadoop/ export PATH=$PATH:$HADOOP_HOME/bin
我这里Hadoop的代码是在/data/hadoop目录
5、直接在idea中启动NameNode类会报”找不到或无法加载主类“的错误
需要把依赖的类路径都添加进来
执行hadoop classpath命令,即可得到依赖的类路径,添加到启动参数中:
然后就可以开始愉快的进行调试了
参考:
https://cwiki.apache.org/confluence/display/HADOOP2/HowToSetupYourDevelopmentEnvironment



