前情提要：
Hadoop版本：hadoop-3.2.2
JAVA版本：jdk1.8.0_45
官方安装文档
[root@ruozedata001 ~]# useradd ruoze
[root@ruozedata001 ~]# su - ruoze
[ruoze@ruozedata001 ~]$ mkdir sourcecode software app log data lib tmp
[ruoze@ruozedata001 ~]$ ll
total 28
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 app
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 data
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 lib
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 log
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 software
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 sourcecode
drwxrwxr-x 2 ruoze ruoze 4096 Nov 21 09:27 tmp
[ruoze@ruozedata001 ~]$
| 文件名 | 用途 |
|---|---|
| app | 解压的文件夹 软连接 |
| software | 数据 |
| sourcecode | 源代码编译 |
| log | 日志文件夹 |
| tmp | 临时文件夹 |
| data | 数据 |
| lib | 第三方的jar |
上传我用的Xftp 7传的 上传到新建的software文件夹，用rz命令上传也可以。
解压
[ruoze@ruozedata001 software]$ tar -xzvf hadoop-3.2.2.tar.gz -C …/app/
创建软连接
3、JAVA安装[ruoze@ruozedata001 app]$ ln -s hadoop-3.2.2 hadoop
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
生产部署时，确认当前JDK版本在不在你使用的Hadoop版本问题列表中（确认java版本和hadoop无冲突）；
[root@ruozedata001 ~]$ mkdir /usr/java
[root@ruozedata001 ~]$ cd /usr/java
然后这里上传到java文件夹，可以用Xftp 7或rz命令
[root@ruozedata001 java]# tar -xzvf jdk-8u45-linux-x64.gz
[root@ruozedata001 java]# chown -R root:root jdk1.8.0_45
[root@ruozedata001 java]# vi /etc/profile
最后加上，然后保存退出
#env export JAVA_HOME=/usr/java/jdk1.8.0_45 export PATH=$JAVA_HOME/bin:$PATH
4、配置JAVA_HOME[ruoze@ruozedata001 java]# source /etc/profile
最后which一下，检查是否安装完成
[ruoze@ruozedata001 java]# which java
/usr/java/jdk1.8.0_45/bin/java
5、伪分布式部署[ruoze@ruozedata001 hadoop]# pwd
/home/ruoze/app/hadoop/etc/hadoop
[ruoze@ruozedata001 hadoop]# vi hadoop-env.sh
最后加上，然后保存退出
JAVA_HOME=/usr/java/jdk1.8.0_121
[ruoze@ruozedata001 hadoop]# vi etc/hadoop/core-site.xml
修改，然后保存退出
fs.defaultFS hdfs://ruozedata001:9000
[ruoze@ruozedata001 hadoop]# vi etc/hadoop/hdfs-site.xml
修改，然后保存退出
dfs.replication 1
配置无密码访问
[ruoze@ruozedata001 ~]$ ssh-keygen
[ruoze@ruozedata001 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[ruoze@ruozedata001 ~]$ chmod 0600 ~/.ssh/authorized_keys
格式化
[ruoze@ruozedata001 hadoop]$ bin/hdfs namenode -format
启动
[ruoze@ruozedata001 hadoop]$ sbin/start-dfs.sh
创建HDFS相关文件
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -mkdir /user
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -mkdir /user/ruoze
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -mkdir input
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -ls /user/ruoze/
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input
试着跑个例子
[ruoze@ruozedata001 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output ‘dfs[a-z.]+’
[ruoze@ruozedata001 hadoop]$ bin/hdfs dfs -get output output
[ruoze@ruozedata001 hadoop]$ cat output/*
关闭
[ruoze@ruozedata001 hadoop]$ sbin/stop-dfs.sh
