栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hbase使用小结

Hbase使用小结

关于hbase是什么东西,为什么要使用hbase,网上有很多资料,在这不在赘述,直接上干货。

1、安装

官网下载对应的版本:hbase-2.3.7-bin.tar.gz

接下里解压:

$ tar -xzvf hbase-2.3.7-bin.tar.gz

验证是否成功,进入bin目录,查看版本信息:

.../bin$ ./hbase version

结果如下:

Hbase 2.3.7
Source code repository git://bc84a1a3c651/home/vagrant/hbase-rm/output/hbase revision=8b2f5141e900c851a2b351fccd54b13bcac5e2ed
Compiled by vagrant on Tue Oct 12 16:38:55 UTC 2021
From source with checksum c18a9f329233d7fbbe4938009977da0b1ce243a38c66dafaf1b7f8820e412969ee3e6bff6ce33657226e4d82eaaef31277e18097ed344ee76c54db6fc4020b37

如果看到以上结果,说明安装成功。

2、配置

首先进入…/conf目录,修改hbase-env.sh,指定jdk的路径和修改是否使用内置的zookeeper(Hbase_MANAGES_ZK),此处不使用内置zookeeper。

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/
export Hbase_MANAGES_ZK=false

其他参数可以根据实际情况进行优化

接下来修改hbase-site.xml文件

  
    hbase.cluster.distributed
    true
  
  
    hbase.tmp.dir
    ./tmp
  
  
    hbase.unsafe.stream.capability.enforce
    false
  
  
    hbase.rootdir
    hdfs:/
     private Admin admin = null;
     private Connection connection = null;
     public HbaseService(Configuration conf) {
         try {
             connection = ConnectionFactory.createConnection(conf);
             admin = connection.getAdmin();
         } catch (IOException e) {
             log.error("获取Hbase连接失败!");
         }
     }
     public boolean creatTable(String tableName, List columnFamily) {}
     public List getAllTableNames() {}
     public Map> getResultScanner(String tableName){}
     ......
}

同时,java调用hbase发现一个问题,首次的时候不管什么操作,比如建表或查询,都比较慢,后面后比较快,也行是首次会创建连接的原因吧。

4、注意事项

经过此次尝试使用hbase,得出以下几点结论,非常重要,在此记录下:

1、hbase官网上讲,支持standalone模式,可以使用内置的zookeeper,hbase启动可以成功,但是java客户端无法调用,需采用外置的zookeeper。

2、hbase有讲,可以使用file方式作为存储方式,也没有成功,采用的hdfs方式(hadoop)。

3、在使用hadoop、hdfs和hbase时,ip地址不好使,得使用hostname。linux服务器需要修改/etc/hosts文件,windows客户端调用也需要在HOSTS文件中添加对应的hostname映射关系。

4、最后一点特别重要:hbase与hadoop的版本需要对应。即使是官网上说的,有时也不准确。官网上说,hadoop 3.3.X版本支持Hbase的2.X版本,其实是不支持的。后来采用hadoop的3.2.2版本和hbase的2.3.7版本

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758140.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号