1. 静态IP设置(Ubuntu18往上):https://blog.csdn.net/D___H/article/details/121103655
2. 免密登录配置:https://blog.csdn.net/D___H/article/details/121124587
3. 安装Java并配置环境变量:https://blog.csdn.net/D___H/article/details/121082585
4. 安装Hadoop、配置环境变量、修改配置文件:
(1) 配置Hadoop环境变量:
# Java的安装目录 export JAVA_HOME=/usr/local/jdk-11 # 将Java同Hadoop的安装路径加入到用户的PATH变量中 export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # Java类路径 export CLASSPATH=.:$JAVA_HOME/lib # Hadoop的安装目录 export HADOOP_HOME=~/software/hadoop-2.7.6 # 使.bashec生效 fu@hadoop1:~$ source .bashrc
(2) 修改配置文件(你的Hadoop安装目录/etc/hadoop/需要修改的配置文件):
a. 修改hadoop-env.sh文件:修改JAVA_HOME和HADOOP_CONF_DIR,只能配具体的路径,千万不要偷懒直接使用$JAVA_HOME和$HADOOP_HOME。
# 使配置生效 source hadoop-env.sh
b. 修改core-site.xml配置文件:
fs.defaultFS hdfs://hadoop1:9000 hadoop.tmp.dir /home/fu/software/hadoop-2.7.6/tmp
c. 修改hdfs-site.xml配置文件:
dfs.replication 1
d. 修改mapred-site.xml配置文件:
# 利用模板"mapred-site.xml.template"复制出"mapred-site.xml" fu@hadoop1:~$ cp mapred-site.xml.template mapred-site.xml
mapreduce.framework.name yarn
e. 修改yarn-site.xml配置文件:
yarn.resourcemanager.hostname hadoop1 yarn.nodemanager.aux-services mapreduce_shuffle
f. 修改slaves文件:增添hadoop1节点信息
localhost hadoop1
(3) 格式化NameNode:
# 因为我是非root用户,所以需要修改权限 fu@hadoop1:~$ sudo chmod -R 777 had* fu@hadoop1:~$ hadoop namenode -format
(4) 启动Hadoop:
fu@hadoop1:~$ start-all.sh # 如果发现有6个进程,那就配置成功! fu@hadoop1:~$ jps 8224 SecondaryNameNode 8598 NodeManager 8374 ResourceManager 8007 DataNode 9037 Jps 7630 NameNode
(4) 停止Hadoop
fu@hadoop1:~$ stop-all.sh



