栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Sqoop常用导数shell脚本整理(全)

Sqoop常用导数shell脚本整理(全)

Hive2Oracle

#!/bin/sh 
sqoop export 
--table dw result_final 
--connect jdbc:oracle:thin:@//10.0.0.1:1521/testdb 
-username oracle_user 
--password oracle_password 
--export-dir /user/hive/warehouse/ads_hive.db/ads_result_final
--columns dt,city,code,cname,loaddate 
--input-fields-terminated-by '01'
--input-lines-terminated-by 'n'
--input-null-string '\N'
--input-null-non-string '\N'

Oracle2Hive

#!/bin/sh 
export HADOOP_CLASSPATH=/app/java/1ib/ojdbc6.jar:/app/cloudera/CDH-6.3.2/yarn-conf 
ConDITIONS='$CONDITIONS'; 
sqoop-import
--connect jdbc:oracle:thin:@//10.0.0.1:1521/testdb 
-username oracle_user 
-password oracle_password 
-query "
select 
dt
,code
,cname
,batchno
,loaddate 
from rep_excle.mp_input_tmp 
where $ConDITIONS
" 
-m1 
--null-string 'null' 
--null-non-string 'null' 
--fields-terminated-by '01' 
--lines-terminated-by'n' 
--target-dir /user/hive/warehouse/dim_hive.db/dim_mp_input_tmp 
--hive-database dim_hive 
--hive-table dim_mp_input_tmp 
--delete-target-dir;

 Hive2MySQL

#!/bin/sh 
export HADOOP_CLASSPATH=/app/java/lib/mysql-connector-java-5.1.44.jar;
--table order_data
--connect jdbc:mysql://10.0.0.1:3306/testdb 
--username sys_user 
--password sys_password 
--hcatalog-database tmp_hive 
--hcatalog-table tmp_order_df 
--columns dt,code,number 
--input-fields-terminated-by '01' 
--input-lines-terminated-by 'n' 
--input-null-string '\N' 
--input-null-non-string '\N'

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758900.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号