栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

sqoop从oracle抽数脚本

sqoop从oracle抽数脚本

hive='/usr/bin/hive'
hive_database='xxxxx'
field_segmentation='01'
external_storage_path='/user/hive/warehouse/xxx/odsxxx'
source_database='xxx'
source_username='xxx'
source_pwd='xxxx'
source_ip='xxx'
source_port='1521'


if [ -n "$1" ] ;then
    do_day=$1
else
    do_day=`date -d "-1 day" +%F`
fi


/usr/bin/sqoop import
--connect "jdbc:oracle:thin:@//$source_ip:$source_port/$source_database"
--username $source_username
--password $source_pwd
--query "select * from xxxx  where $ConDITIONS "
--hive-delims-replacement '
'
--num-mappers 1
--fields-terminated-by $field_segmentation
--target-dir $external_storage_path/xxxxxxxx_tmp
--delete-target-dir
--null-string '\N'
--null-non-string '\N'
--hive-import
--hive-database $hive_database
--hive-table xxxxxx
--hive-overwrite
--hive-partition-key dt
--hive-partition-value $do_day

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/344604.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号