栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

python读取hbase数据

python读取hbase数据

happybase官方文档

Happybase — Happybase 1.2.0 documentation

代码

 # 注意 我这里表小,使用scan全表扫描hbase数据,如果你数据量大,建议看官方文档.

import happybase
'''
本脚本的需求是从hbase获取到rowkey的set,然后和hive中某列比较,下面的代码会说去hbase中rowkey组成的set
'''


'''
导入包:
    pip install thrift
    pip install hbase-thrift
    pip install happybase

报错 No protocol version header https://blog.csdn.net/u012447842/article/details/90603942
    需要 启动hbase thrift服务(默认端口9090)    ./hbase-daemon.sh start thrift
    查看thrift是否启动:
        shell>> jps
            28668 ThriftServer
        shell>> netstat -anp|grep 9090
            可以看到 9090端口占用的pid和ThriftServer的PID相同

'''
connection = happybase.Connection(
    host='192.168.9.88'
    ,port=9090
    ,autoconnect=False # 是否直接打开连接
)

connection.open()
table &#
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/457184.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号