Hadoop的安装与配置

输入 sudo apt-get install openssh-server

输入 ps -e | grep ssh 查看ssh进程，检测是否安装成功

1. 切换到.ssh目录

   cd ~/.ssh 
   

2. 生成ssh密钥

   ssh-keygen -t rsa
   

3. 将密钥与当前用户建立关联

   cat ./id_rsa.pub>> ./authorized_keys 
   

   
   

1. 查看Java版本

   java -version
   

2. 安装Java8

   sudo apt install openjdk-8-jre-headless
   

1. 安装完Java后切换到Java的安装目录，将其更名为Java便于配置

   	1. cd /usr/lib/jvm
   	2. sudo mv java-8-openjdk-amd64 java
   

2. 输入vim ~/.bashrc进入环境变量配置文件，添加如下内容

   # java config
   export JAVA_HOME=/usr/lib/jvm/java
   export JRE_HOME=${JAVA_HOME}/jre
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
   export PATH=${JAVA_HOME}/bin:$PATH
   

3. 返回主界面输入source ~/.bashrc更新配置文件，使配置生效

4. 输入java -version检查java是否配置成功
   

由于从官网地址下载Hadoop非常的慢，这里改用清华源，这里安装的是3.3.1版本

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz 

解压到usr/local（位置随个人选择），并更名为hadoop

sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local

1. 切换到用户权限

   sudo chown -R cheng ./hadoop   #这里的cheng为更换成你的用户名
   

2. vim ~/.bashrc更新配置文件

   #hadoop config
   export HADOOP_HOME=/usr/local/hadoop
   export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

3. hadoop version查看hadoop的安装情况
   

1. 创建一个input类型的文件并向其中输入一些单词
   

   echo "hadoop mapreduce spark hadoop spark hadoop" >> hd.input
   

2. 使用hadoop的jar包进行词频分析并将分析输出到output2目录（output2目录是不存在的，如果存在则会报错）

   hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar hd.input output2
   

3. output2下生成了part-r-00000 里面存放的便是结果

   less part-r-00000  #进入到该文件中
   或者
   cat part-r-00000 #输出文件内容
   

1. 创建input3文件夹，并将hadoop中/etc/hadoop下的目录拷贝到input3
   
2. 使用jar包分析，找出所有以dfs开头作为文件名的文件夹

   hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input3 output3 'dfs[a-z.]+'