Hadoop单机安装

JDK 的安装

将下载好的 jdk 文件放到/usr/local，配置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib 

Hadoop 的安装

官网下载Hadoop,下载到/usr/local 目录下并解压并在 /etc/profile文件中配置环境变量

export HADOOP_HOME=/usr/local/hadoop-2.10.0 export PATH=$HADOOP_HOME/bin:$PATH 刷新配置 source profile 查看版本 hadoop version hadood文件配置 进入目录 cd /usr/local/hadoop-2.10.0/etc/hadoop/ 配置以下几个文件 core-site.xml   hadoop-env.sh     hdfs-site.xml     mapred-site.xml     yarn-site.xml core-site.xml 里添加如下配置 

fs.defaultFS

hdfs://192.168.6.100:9000


hadoop.tmp.dir

/usr/local/hadoop-2.10.0/tmp


hadoop.native.lib
false
Should native hadoop libraries, if present, be used. 

hdfs-site.xml 配置

dfs.replication
1


dfs.secondary.http.address

192.168.124.144:50090

  复制默认的 cp mapred-site.xml.template ./mapred-site.xml 配置命名为 mapred-site.xml

mapreduce.framework.name
yarn

yarn-site.xml

yarn.resourcemanager.hostname

192.168.6.100



yarn.nodemanager.aux-services
mapreduce_shuffle

hadoop-env.sh 里的配置改动 将 JAVA_HOME 配置成你自己的 jdk 安装路径 export JAVA_HOME=/usr/local/jdk1.8.0_211 配置免密登陆 ssh-keygen -t rsa 出现任何东西全部回车不需要你输入任何东西，都是默认。 将公钥信息保存在授权认证的文件中： cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 配置好之后切换到 sbin 目录下 cd /usr/local/hadoop-2.10.0/sbin/ 格式化 hadoop 文件格式，执行命令 hadoop namenode -format ，成功之后启动执行 启动所有命令 ./start-all.sh 使用 jps 查看进程，能看到这些进程证明启动成功了，也可以通过网页来查 看 localhost:50070