栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Sqoop的基本操作

Sqoop的基本操作

导入数据
导入到HDFS
// 代表在shell窗口中换行
bin/sqoop import
// 连接的url
--connect jdbc:mysql://hadoop102:3306/mydb
// 用户名
--username root
// 密码
--password 123456
// 要导哪个表的数据
--table staff
// 将数据导入到hdfs的哪个路径
--target-dir /company
// 如果目标目录存在就删除
--delete-target-dir
// 导入到hdfs上时,mysql中的字段使用t作为分隔符
--fields-terminated-by "t"
// 设置几个MapTask来运行
--num-mappers 2
// 基于ID列,将数据切分为2片,只有在--num-mappers>1时才需要指定,选的列最好不要有null值,否则null
// 是无法被导入的!尽量选取主键列,数字列
--split-by id
// 只导入id和name 列
--columns id,name
// 只导入复合过滤条件的行
--where 'id >= 10 and id <= 20'
// 执行查询的SQL,讲查询的数据进行导入,如果使用了--query,不加再用--table,--where,--columns
// 只要使用--query ,必须添加$CONDITONS,这个条件会被Sqoop自动替换为一些表达式
--query "SQL"

2.导入到Hive
Sqoop导入到hive,先讲数据导入到HDFS,再讲HDFS的数据,load到hive表中!bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/company
--username root
--password 123456
--table staff
--num-mappers 1
//导入到hive
--hive-import
//导入到hive表中字段的分隔符
--fields-terminated-by "t"
// 是否以insert overwrite方式覆盖导入数据
--hive-overwrite
// 要导入的hive表的名称,会自动帮助我们建表。建议还是在hive中手动建表,需要注意和mysql表的数据类型匹配
--hive-table staff_hive

3.导入到hbase
目前使用的sqoop1.4.6对应的是低版本的hbase,目前的1.3.0的hbase版本有点高!
在执行导入时,sqoop是可以帮我们自动建表,在使用1.3.0hbase时,建表会失败!
建议手动建表!bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/mydb
--username root
--password 123456
--table t_emp
//如果表不存在,hbase自动建表
--hbase-create-table
// 导入的表名
--hbase-table "t_emp"
// mysql的哪一列作为rowkey
--hbase-row-key "id"
//导入的列族名
--column-family "info"
--num-mappers 1
--split

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342411.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号