Hbase 2.4.8 安装部署过程

一、Hbase 简介 1.1 定义         Hbase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 数据模型

        逻辑上，Hbase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 Hbase 的底层物理存储结构（K-V）来看，Hbase更像是一个 multi-dimensional map。 

（1）逻辑结构

（2） 物理存储结构

 （3）数据模型

    1）Name Space 
        命名空间，类似于关系型数据库的Databbase 概念，每个命名空间下有多个表。Hbase有两个自带的命名空间，分别是hbase和default，hbase中存放的是Hbase内置的表，default表是用户默认使用的命名空间。
    2）Region 
        类似于关系型数据库的表概念。不同的是，Hbase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往Hbase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，Hbase能够轻松应对字段变更的场景。
    3）Row Hbase 
        表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。
    4）Column 
        Hbase中的每个列都由Column Family(列族)和Column Qualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。
    5）Time Stamp 
        用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入Hbase 的时间。
    6）Cell 
        由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

1.3 基本架构 （1）简单架构图

     1）Region Server 
        Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下:
        对于数据的操作：get, put, delete；
        对于 Region 的操作：splitRegion、compactRegion。 
     2）Master 
        Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下：
        对于表的操作：create, delete, alter
        对于 RegionServer的操作：分配 regions到每个RegionServer，监控每个 RegionServer的状态，负载均衡和故障转移。
     3）Zookeeper 
        Hbase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。
     4）HDFS 
        HDFS 为 Hbase 提供最终的底层数据存储服务，同时为 Hbase 提供高可用的支持。

（2）详细架构图

    1）StoreFile 
        保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个 StoreFile 中都是有序的。
    2）MemStore 
        写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的 HFile。 
    3）WAL 
        由于数据要经 MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Aheadlogfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 

二、Hbase 安装部署 2.1 Zookeeper 正常部署

如果没有部署可以查看：Zookeeper 3.7.0 安装部署_我思，顾我在-CSDN博客

2.2 Hadoop 正常部署 

如果没有部署可以查看：Hadoop 3.3.1 分布式部署_我思，顾我在-CSDN博客

2.3 Hbase 解压到指定目录

[hadoop@ggl201 software]$ sudo tar -zxvf hbase-2.4.8-bin.tar.gz -C /opt/module/

 2.4 Hbase 的配置文件

（1）hbase-env.sh 修改内容：

[hadoop@ggl201 conf]$ vim hbase-env.sh


export JAVA_HOME=/opt/module/jdk1.8.0_201
export Hbase_MANAGES_ZK=false

（2）hbase-site.xml 修改内容：

	
		hbase.rootdir
		hdfs://ggl201:8020/Hbase
	
	
		hbase.cluster.distributed
		true
	
	 
	
		hbase.master.port
		16000
	
	 
		hbase.zookeeper.quorum
		ggl201,ggl202,ggl203
	
	 
		hbase.zookeeper.property.dataDir
		/opt/module/zookeeper-3.7.0/zkData
	

（3）regionservers：

ggl201
ggl202
ggl203

（4）软连接 hadoop 配置文件到 Hbase：

[hadoop@ggl201 conf]$  ln -s /opt/module/hadoop-3.3.1/etc/hadoop/core-site.xml /opt/module/hbase-2.4.8/conf/core-site.xml
[hadoop@ggl201 conf]$ ln -s /opt/module/hadoop-3.3.1/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.4.8/conf/hdfs-site.xml

2.5 Hbase 分发

[hadoop@ggl201 module]$ sudo xsync hbase-2.4.8/

2.6 Hbase启动

（1）启动方式一

[hadoop@ggl201 hbase-2.4.8]$  bin/hbase-daemon.sh start master
[hadoop@ggl201 hbase-2.4.8]$  bin/hbase-daemon.sh start regionserver

提示： 如果集群之间的节点时间不同步，会导致 regionserver 无法启动，抛出ClockOutOfSyncException 异常。 1）同步时间设置 时间同步方式：https://blog.csdn.net/qq_37056683/article/details/121099742 （在文章内容的最下面） 2）在hbase-site.xml文件中设置 hbase.master.maxclockskew

 hbase.master.maxclockskew
 180000
 Time difference of regionserver from master

（2）启动方式二

[hadoop@ggl201 hbase-2.4.8]$  bin/start-hbase.sh


#对应的停止命令
[hadoop@ggl201 hbase-2.4.8]$  bin/stop-hbase.sh

2.7 Hbase 页面查看 http://ggl201:16010