需求:将一个mysql表导入hive数据仓库里,
Sqoop
导入数据到
Hive
是通过先将数据导入到
HDFS
上的临时目录,然后再将数据从
HDFS
上
Load
到
Hive
中,最后将临时目录删除。可以使用
target
-
dir
来指定临时目录。
sqoop import
--connect jdbc:mysql://hadoop001:3306/mysql
--username bigdata
--password bigdata
--query "select * from mysql.doctor_inquiry where 1=1 or $CONDITIONS" #查询语句
--hive-table doctor_inquiry_new #要导入的hive表
--hive-database iorder #要导入的hive数据库
--delete-target-dir #如果临时目录存在删除
--target-dir /user/hive/import/zhuboshi/iorder # HDFS临时目录位置
--hive-import # 导入到 Hive
-m 1 # 并行度
--null-string '\N'
--null-non-string '\N'
echo 1