Hadoop的伪分布式安装

1. 操作系统：Linux
2. 实验软件：VMware
3. Hadoop版本：3.1.3
4. JDK版本：1.8
   （注意：Hadoop3.1.3要求JDK版本在1.8及以上）

1. 下载Hadoop
   注意：在虚拟机内的浏览器打开网址更方便
   Hadoop下载地址
   
2. 更新apt

sudo apt-get update

3. 安装vim编辑器

sudo apt-get install vim

1. 安装ssh

sudo apt-get install openssh-server

2. 登录(需要密码)

ssh localhost

3. 免密登录

exit        #退出
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys   #授权

ssh localhost    #无需密码

1. 在Ubuntu内的火狐浏览器打开默认下载到/home/Downloads/下 JDK下载官网网址
   注意：JDK版本需在1.8及以上
2. 在用户名为hadoop的用户下执行shell命令，若不是该用户则先创建一个hadoop用户

cd /usr/lib
sudo mkdir jvm  #用于存放JDK文件
cd ~/Downloads
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm   #解压到指定目录

3. 配置环境变量

cd ~
vim ~/.bashrc
#进入.bashrc文件中添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc  #使.bashrc文件的配置生效
java -version     #查看是否安装成功

1. 解压Hadoop压缩包到指定路径

sudo tar -zxvf ~/Downloads/hadoop-3.1.3.tar.gz  -C /usr/local

2. 查看Hadoop版本并检查是否安装成功

cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop   #修改文件权限
cd hadoop
./bin/hadoop version    #查看版本是否成功

3. 配置环境变量

vim ~/.bashrc
#添加如下内容
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
#保存并退出后使环境变量配置生效
source ~/.bashrc

4. 修改core-site.xml配置文件
   注意：xml格式以name与value的形式实现

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml

修改内容如下：

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    

5. 修改core-site.xml配置文件
   注意：xml格式以name与value的形式实现

cd /usr/local/hadoop/etc/hadoop
vim hdfs-site.xml

修改内容如下：

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

6. NameNode格式化

cd /usr/local/hadoop
./bin/hdfs name -format

7. 开启namenode与datanode进程

cd /usr/local/hadoop
./sbin/start-dfs.sh

8. jps查看启动是否成功

jps

9. 关闭namenode与datanode进程

cd /usr/local/hadoop
./sbin/stop-dfs.sh