Ubuntu16.04配置hadoop+Hbase+基础命令使用

hadoop配置 安装jdk

安装步骤参考：Ubuntu16.04下安装JDK1.8

一、下载hadoop

网址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/

二、文件上传Ubuntu

将下载好的hadoop传到ubantu自己账号的根目录下（我用的是Xftp，传输文件需要root账号登陆！如果遇到root无法登陆请自行百度（我踩过的坑））

注意：配置环境要在自己的账号下，我在root账户下配置不成功（jdk也一样）

三、解压

1、防止错误先：

cd ~

2、查看

ls

3、解压并创建快捷方式 输入：

tar -zxvf hadoop-2.7.0.tar.gz

ln -s hadoop-2.7.0 hadoop

四、配置 hadoop 环境变量

没有vim的用vi或者gedit都行，能编辑文件就行

sudo vim ~/.bashrc

在末尾配置如下：

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin：

保存退出和使修改文件生效 输入：

source ~/.bashrc

测试 hadoop 是否安装成功 输入：

hadoop version

安装成功

五、接下来要开始配置 hadoop 工作文件

切换到配置文件目录

cd hadoop/etc/hadoop/

ls

1、修改hadoop-env.sh文件

1、修改 hadoop-env.sh 文件

sudo vim hadoop-env.sh 

2、找到 JAVA_HOME, 修改为:

export JAVA_HOME=~/jdk

此目的为了找到你的jdk，后面为jdk路径

2、修改 core-site.xml 文件

1、先查看主机名命令：

hostname

2、输入：

sudo vim core-site.xml 

3、在里面添加一下配置

    
        hadoop.tmp.dir
        /home/wang/hadoop/tmp
   
   
         fs.defaultFS
         hdfs://ubuntu:8020/
   

3、修改 hdfs-site.xml 配置

1、输入

sudo vim hdfs-site.xml 

2、在里面添加以下配置

   
       dfs.replication
       1
   
  
       dfs.http.address
       0.0.0.0:50070
   

4、配置 mapred-site.xml

先复制文件输入：

cp mapred-site.xml.template  mapred-site.xml 

再输入：

sudo vim mapred-site.xml 

在里面添加以下配置

     
         mapreduce.framework.name
         yarn
     

5、配置 yarn-site.xml

1、输入：

sudo vim yarn-site.xml 

2、在里面添加以下配

      
           yarn.resourcemanager.hostname
           ubuntu
     
     
           yarn.nodemanager.aux-services
           mapreduce_shuffle
     

6、格式化 HDFS 文件系统

输入：

hdfs namenode -format 

7、启动 hadoop

输入：

start-all.sh 

这是会输入多次密码

再输入：

jps

8、查看ip

ifconfig

用浏览器测试一下是否启动成功

打开 window 浏览器

输入：192.168.28.130:50070

成功！！！

hbase配置 一、下载hbase

地址：https://archive.apache.org/dist/hbase/1.2.6/

二、文件上传解压

前面已有教程

输入：

tar -zxvf hbase-1.2.6-bin.tar.gz

设置快捷方式

ln -s hbase-1.2.6 hbase

三、配置环境变量

输入

sudo vim ~/.bashrc

添加

export Hbase_HOME=~/hbase
export PATH=${Hbase_HOME}/bin:$PATH

使环境变量生效

输入：

source ~/.bashrc 

四、配置文件

设置 hbase 配置文件

先切换到 conf 文件夹下

输入：

cd hbase/conf/ 

输入：

ls 

1、配置 hbase-env.sh 文件

输入：

sudo vim hbase-env.sh

或者直接加：

 export JAVA_HOME=~/jdk
 export Hbase_MANAGES_ZK=false

这一步我没有注释

2、配置 hbase-site.xml

输入：

sudo vim hbase-site.xml

这里搭建不出来！！我猜测下面这个是搭建真分布：

     hbase.cluster.distributedtrue


    hbase.rootdir
    hdfs://192.168.206.129:8020/hbase


     hbase.tmp.dir
     /home/x201/hbase/tmp


      hbase.zookeeper.property.dataDir
      hdfs://192.168.206.129:8020/zookeeper

       hbase.master.info.port
        60010

所以我们换一下：

    
        hbase.rootdir
        file:///home/wang/hbase/hbase-tmp
    
        
                hbase.master.info.port
                60010
      

启动 hbase

注意，启动前要先将 hadoop 启动(start-all.sh)，然后再启动 hbase，要不 然会出错！！！！

输入：

start-hbase.sh 

再输入：

jps

发现我们已经有了~~

如果出现下面这个错误：

我们加入如下：

                hbase.cluster.distributed
               true 

再次启动Hbase

start-hbase.sh 

我们进行测试：

http://192.168.206.128:60010/master-status

发现我们成功了~~~

hbase基本操作 一、进入交互界面

hbase shell

二、进行一些基本数据库操作 1、创建表

使用create命令创建一个新表.你必须规定表名和列族名

create 'test', 'cf' 

2、显示表信息

使用list 命令可以显示表信息

list 'test' 

使用 describe 命令显示表的详细信息

describe 'test'

3、向表中加入数据

使用 put 命令

put 'test', 'row1', 'cf:a', 'value1'
put 'test', 'row2', 'cf:b', 'value2'
put 'test', 'row3', 'cf:c', 'value3'

4、扫描表

使用scan 命令扫描整个表取得数据

scan 'test'

5、取一行数据

使用get指令

get 'test', 'row1'

6、修改表模式

使用alter命令，如修改存储版本数

disable 'test'
alter 'test', NAME=>'cf',VERSIONS=>5
enable 'test'

三、其他命令

disable table, drop table,enable table 等

参考

https://blog.csdn.net/XY1790026787/article/details/116400418