栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

将csv文件导入到hbase中

将csv文件导入到hbase中

1.将csv文件拖到/opt下

 

 

2、将本地的csv文件上传到HDFS上去

 

 

3、之后将上传到HDFS上的文件导入到Hbase中。

首先在Hbase中建一个表用来存放这个文件的数据:

create_namespace 'Test'   (没有命名空间先创建命名空间)
create 'Test:test','info1','info2'

这里,命名空间为'Test',表名为‘test’ ,列簇名为info1,info2  

4、借用mapreduce的包,将csv文件导入到刚才创建的表中。

hbase org.apache.hadoop.hbase.mapreduce.importTsv -Dimporttsv.separator=',' -Dimporttsv.columns=Hbase_ROW_KEY,info1:name,info1:age,info2:sex 'Test:userinfo' /hbase/datas.csv

这里使用了importTsv方法,参数Dimporttsv.separator为定义分隔符为',' ,Dimporttsv.columns则是定义对应的列名,这里需要注意,第一个是需要指定row的位置,因为在我之前csv文件中第一行就是用来做为row的,所以这里的位置在第一个,那么灵活变动,如果你的row不在第一行,就把Hbase_ROW_KEY放到对应的位置上,然后后面则是将csv中的列age和name列名都放到了info1,age和sex列名都放到了info2这个列簇下面,在后面跟的就是对应的表名,以及要导入的文件在HDFS的路径。

查看结果:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/680432.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号