【Hadoop、HBase】配置过程记录

1.解压 hadoop-3.1.3.tar.gz 至 /usr/local/

sudo tar -zxf hadoop-3.1.3.tar.gz -C /usr/local/

cd /usr/local/

sudo mv ./hadoop-3.1.3/ ./hadoop #修改文件名

sudo chown -R hadoop ./hadoop # 修改文件权限

2.测试hadoop是否安装成功

cd /usr/local/hadoop/bin

hadoop version

3.Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子，运行下述语句后就可以看到其包括 wordcount、terasort、join、grep 等。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar

4.试运行 wordcount 程序

 

bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar      wordcount   test.txt    output 

5. 配置伪分布式集群

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

# 两个文件修改之前 configuration 部分的内容





#core-site.xml 修改后 configuration 部分的内容


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    


#hdfs-site.xml 修改后 configuration 部分的内容


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

配置完成后，执行 NameNode 的格式化:

 cd /usr/local/hadoop

./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 的提示，具体返回信息类似如下：

2020-01-08 15:31:31,560 INFO namenode.NameNode: STARTUP_MSG: 


......
2020-01-08 15:31:35,677 INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name **has been successfully formatted**.
2020-01-08 15:31:35,700 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2020-01-08 15:31:35,770 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 393 bytes saved in 0 seconds .
2020-01-08 15:31:35,810 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2020-01-08 15:31:35,816 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.
2020-01-08 15:31:35,816 INFO namenode.NameNode: SHUTDOWN_MSG:  

接着开启 NameNode 和 DataNode 守护进程,并使用 jps 命令查看结果。

cd /usr/local/hadoop

./sbin/start-dfs.sh

6.伪分布式运行结果测试

  

7.Hbase安装 7.1 解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local，并命名为hbase

sudo tar -zxf hbase-2.2.2-bin.tar.gz -C /usr/local

cd /usr/local

sudo mv ./hbase-2.2.2 ./hbase

sudo chown -R hadoop ./hbase

7.2 修改环境变量

vim ~/.bashrc

export PATH=$PATH:/usr/local/hbase/bin #在文件的最后加上这句话

source ~/.bashrc

7.3 查看Hbase版本

7.4 配置Hbase

使用vim命令配置/usr/local/hbase/conf/hbase-env.sh，在文件的最后加入下面的语句

export JAVA_HOME=/usr/local/jdk1.8 #你自己jdk的安装位置
export Hbase_CLASSPATH=/usr/local/hbase/conf 
export Hbase_MANAGES_ZK=true

使用vim命令配置/usr/local/hbase/conf/hbase-site.xml

#和之前一样，将 configuration部分改成如下即可

        
                hbase.rootdir
                hdfs://localhost:9000/hbase
        
        
                hbase.cluster.distributed
                true
        
        
        hbase.unsafe.stream.capability.enforce
        false
    

接下来启动hadoop和hdfs，启动以后输入jps 查看。

cd /usr/local/hadoop

./sbin/start-dfs.sh

cd ../hbase

./bin/start-hbase.sh

./bin/hbase shell

​​​​​​​ 

最后退出数据库操作，输入exit命令即可退出，注意：这里退出Hbase数据库是退出对数据库表的操作，而不是停止启动Hbase数据库后台运行