栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop安装及测试

hadoop安装及测试

--使用云服务器进行单节点服务器搭建

(1)

在root用户下修改主机名

[root]# vim  /etc/hostname

按 i 进入编辑 设置主机名为 hadoop

:wq 进行保存

(2)配置映射

root 用户下

[root]# vim  /etc/hosts

 ip 为内网ip

 

(3)创建用户 并赋予密码

[root]# passwd  peizk
[root]# useradd  peizk

如下: 

 

 (4)进入用户并切换至用户根目录

[root]#   su peizk
[peizk]#  cd ~

  创建  相应的后续所用目录

[peizk]# mkdir sourcecode  software app  log    lib  data  tmp  shell

 将hadoop安装包,java安装包 放入  software文件夹

(6)将压缩包  解压至  app文件夹中

[peizk@hadoop software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz  -C  ../app

[peizk@hadoop software]$ tar -zxvf hadoop-3.1.3.tar.gz -C  ../app

(7)给用户配置  ssh免密

[peizk@hadoop ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

[peizk@hadoop ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[peizk@hadoop ~]$ chmod 0600 ~/.ssh/authorized_keys

 (8)配置  java 环境变量  hadoop  环境变量 

登录root用户

进入

[root@hadoop hadoop-3.1.3]# vim /etc/profile

在最后出加入如下语句

#JAVA_HOME
export JAVA_HOME=/home/peizk/app/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


#HADOOP_HOME
export HADOOP_HOME=/home/peizk/app/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

wq  进行保存

对配置文件进行  source  

[root@hadoop hadoop-3.1.3]# source /etc/profile

接着 输入  java   hadoop   就可以看到  有显示   证明配置成功

(9) 修改hadoop  配置文件 与hadoop配置中java路径的配置

  登录  peizk 用户 并进入 hadoop配置文件目录

[peizk@hadoop ~]$ cd app/hadoop-3.1.3/etc/hadoop/

修改文件   core-site.xml

[peizk@hadoop hadoop]$ vim  core-site.xml 

 在    中加入如下内容


        fs.defaultFS
        hdfs://hadoop:9000



        hadoop.tmp.dir
        /home/peizk/tmp

修改文件  hdfs-site.xml

[peizk@hadoop hadoop]$ vim hdfs-site.xml 

在    中加入如下内容


      dfs.replication
      1
 

修改文件   hadoop-env.sh

[peizk@hadoop hadoop]$ vim  hadoop-env.sh

 添加  如下语句

 export JAVA_HOME=/home/peizk/app/jdk1.8.0_212

(10) 配置  workers 文件

[peizk@hadoop hadoop]$ vim workers 

修改为  hadoop

(11)启动前   格式化  namenode

进入目录 

[peizk@hadoop ~]$ cd app/hadoop-3.1.3/

 执行命令  

[peizk@hadoop hadoop-3.1.3]$ hdfs  namenode -format

可以在家目录下的tmp中相应的文件,证明格式化成功

注意:每次格式化前都要先将原本的tmp下数据及logs删除,避免版本号不对应出现错误

(12)启动  hadoop

[peizk@hadoop hadoop-3.1.3]$ sbin/start-dfs.sh 

显示如下:

使用  jps  查看

(13)通过WEB端访问  hdfs

  首先  打开服务器  9870端口

接着使用         外网ip:端口    访问成功

(14)测试  hadoop  自带  案例

首先 在hdfs 中创建 几个文件夹

[peizk@hadoop hadoop-3.1.3]$ hadoop fs -mkdir -p /user/peizk
[peizk@hadoop hadoop-3.1.3]$ hadoop fs -mkdir /input

往  input  下 放一些文件

[peizk@hadoop hadoop]$ hadoop fs -put *.xml /input

 如下

 

(15)测试

[peizk@hadoop hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /input /output 'dfs[a-z.]+'

 执行成功   页面出现output

(16)查看一下测试出现的文件内容

在家目录下新建一个output文件夹

然后

[peizk@hadoop ~]$ hadoop fs -get /output output/

 如下:

 使用  cat 命令查看

[peizk@hadoop ~]$ cat output/output/part-r-00000 

如下: 

(17) 关闭hadoop

[peizk@hadoop hadoop-3.1.3]$ sbin/stop-dfs.sh 

使用jps查看  关闭成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761803.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号