栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

sqoop从mysql导入hive

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

sqoop从mysql导入hive

需求:将一个mysql表导入hive数据仓库里, Sqoop 导入数据到 Hive 是通过先将数据导入到 HDFS 上的临时目录,然后再将数据从 HDFS 上 Load 到 Hive 中,最后将临时目录删除。可以使用 target - dir 来指定临时目录。
sqoop import 
--connect jdbc:mysql://hadoop001:3306/mysql 
--username bigdata 
--password bigdata 
--query "select * from mysql.doctor_inquiry where 1=1 or $CONDITIONS"    #查询语句
--hive-table doctor_inquiry_new         #要导入的hive表
--hive-database iorder                  #要导入的hive数据库
--delete-target-dir                     #如果临时目录存在删除
--target-dir /user/hive/import/zhuboshi/iorder           # HDFS临时目录位置
--hive-import                           # 导入到 Hive
-m 1                                    # 并行度
--null-string '\N' 
--null-non-string '\N'
echo 1

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279655.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号