hbase的体系结构 client: 提供了访问hbase的各种接口 维护了一个缓存，缓存最近的访问记录，用来加快访问hbase zookeeper: 监控hMaster,保证有一个活跃的节点来管理整个集群 实时监控HregionServer的状态，并将其通知给HMaster 存储hbase的元数据信息，比如meta，meta-region-server表 HMaster 负责对region的切分，分配 负责regionServer的负载均衡 负责客户端的schema请求 负责hdfs上的垃圾回收 HRegionServer 负责本机region的管理 真正负责客户端的读写请求 负责与hdfs上进行交互 Hlog 记录下客户端的所有请求，防止机器宕机，可以进行回滚操作 格式是WAL格式 region region是hbase的最小存储单元，可以是一张表，也可以是一张表的一部分 region的名字是由rowkey的行范围来进行标识的 store region又被划分为很多的store，store对应的是一个列族，也是hdfs下的一个目录，所以不同列族下的数据在不同的文件目录下面 里面维护了一个memStore memStore 写入数据真正进行操作的地方，数据写入后会进行对rowkey的排序，通过rowkey的(长度，时间)等进行排序 memestre有一个阈值，阈值是内存的40% 或者一小时 或者128M StoreFile 当mem达到阈值，就会flush成一个storefile，所以storefile有很多个，当达到一定的数量阈值之后，就会对storefile进行合并操作，去掉过多的版本号，以及标记要删除的值 storefile也有一个阈值为10G，当达到阈值10G，就会造成storefile的切分，storefile的切分也会造成region的切分，将一个region切分成两个新的region，一个旧的region下线，两个新的region上线
hbase的存储机制: 1.region是hbase的最小的存储单位，region是一张表，也可以是一张表的一部分，region的名字是由rowkey的行范围来进行划分的 2.region里面维护了很多的store，store对应一个列族，也对应hdfs上的一个存储的目录，store里面维护了一个memstore 3.memstore是真正对数据进行操作的地方，memstore会对写入的数据进行rowkey的排序，根据rowkey(长度，版本戳)等进行拍序，memestore有一个阈值是128M或者内存的40%或者一小时 4.当memestore达到阈值，就会将数据flush成一个个storefile，所以storefile就会有多个，当达到一定的数量的阈值，就会进行store file的合并操作，过滤掉版本号过多的单元格，以及标记删除的单元格，当达到阈值10G就会造成storefile的切分，storefile的切分会引起region的切分，将一个旧的region切分成两个新的region，一个旧的region下线，两个新的region上线 5.最后flush成hfile保存在hdfs上
hbase的写流程 1.client通过zookeeper的调度，想hmaster发出请求，请求在region写入数据 2.数据被写入到region中的memstore中知道memestore达到阈值128M或者1小时或者内存的40% 3.memestore达到阈值flush成storefile，所以storefile有多个，当达到一定的数量阈值就会进行合并操作，将过多的版本号，以及标记要删除的rowkey过滤掉 4.storefile会随着时间越来越大，当到达阈值10G，就会造成storefile的切分，storefile的切分就会引起region的切分，一个旧的region切分成两个新的region，旧的region下线，两个新的region上线 5.最后形成hfile持久化存储在hdfs上面
布隆过滤器: 原理:布隆过滤器是一个由64kb的初始权威0的位数组和n个hash函数组成的，每存入一个值就会对这个值进行n的hash函数的运算，运算之后得到n个下标，将这些得到的下标值全都赋值为1 用处：当要检查一个值是否在这个region中的时候，我们就可以通过n个hash函数的计算，得到n个下标，在数组中进行判断，如果这n个下标中有一个是0，这个值一定不在这个region中，如果这n个下标都是1，这个值也不一定在这个region中
rowkey的设计原则: 1.唯一性原则(避免出翔覆盖) 2.长度一致原则(避免出现排序异常) 3.散列原则(避免热点key问题) 将设计的rowkey进行反转 4.加盐方式(在rowkey前面加随机字符串)
