栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hbase导入.csv文件

Hbase导入.csv文件

1.csv文件

2.将csv文件上传到服务器

(我这里是上传到了根目录下)

3.将文件上传到HDFS

sudo -u hdfs hadoop fs -put test_emp.csv /user/home/
(注意test_emp.csv文件在哪个目录下就在哪执行这个操作)

关于执行hdfs命令的说明:
对CDH用户:假设系统有一个文件夹/user/directory,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。所以,只有hdfs用户可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。
这里,我们可以创建一个文件夹,更改其权限为root(或你的用户名)。所以,你可以向这个文件夹随意的存、改文件了。
sudo -u hdfs hadoop fs -chown root /user/intern/test67

4.hbase中创建一个表(hbase-test01),且列族为info

hbase shell
create 'hbase-test01','info'
quit

5.将hdfs中的test_emp.csv导入hbase

hbase org.apache.hadoop.hbase.mapreduce.importTsv -Dimporttsv.separator="," -Dimporttsv.columns=Hbase_ROW_KEY,info:ENAME,info:JOB,info:MGR,info:HIREDATE,info:SAL,info:COMM,info:DEPTNO hbase-test01 /user/home/test_emp.csv

(注意:hbase会默认将第一列的内容即该csv文件中的EMPNO作为rowkey,所以你执行该命令时是不需要有“info:EMPNO”的,不然hbase中的数据是乱的)

6.查看

hbase shell
scan 'hbase-test01'

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/487484.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号