利用sqoop从MySQL全量/增量导入数据到hive脚本

全量导入

#! /bin/bash

 date=`date -d today +"%Y-%m-%d"`
if [ x"$1" = x ]; then
    echo "====使用自动生成的今天日期===="
else 
    date=$1
fi

    echo "日期为：$date"

 
sqoop import
    -D mapred.job.queue.name=hive
    -D mapred.task.timeout=0    
    --connect jdbc:mysql://hadoop13:3306/ycak?characterEncoding=UTF-8
    --username root
    --password  ******
    --table user_alipay_baseinfo
    --target-dir /user/hive/warehouse/songdb.db/to_ycak_usr_ali_d/
    --delete-target-dir
    --num-mappers 1
    --fields-terminated-by "t"
    --null-string '\N'
    --null-non-string '\N'

增量导入 -append

#! /bin/bash

# date：如果传入时间使用传入的时间，如果没有传入时间，则使用今天的日期

 date=`date -d today +"%Y-%m-%d"`
if [ x"$1" = x ]; then
    echo "====使用自动生成的今天日期===="
else 
    date=$1
fi

    echo "日期为：$date"
#查询hive中id的最大值，即maxid，从maxid的下一位开始增量导入hive    （）

maxid=`/opt/installs/hive3.1.2/bin/hive -e "set hive.cli.print.header=false;select max(id) from songdb.TO_YCAK_USR_LOGIN_D"`
    echo "hive的TO_YCAK_USR_LOGIN_D表中存储的最大id值：$maxid"

if [ "$maxid" = "NULL" ];then
    maxid=0
fi

    echo "hive的TO_YCAK_USR_LOGIN_D表中存储的最大id值：$maxid"

sqoop import
    -D mapred.job.queue.name=hive
    -D mapred.task.timeout=0    
    --connect jdbc:mysql://hadoop13:3306/ycak?characterEncoding=UTF-8
    --username root
    --password  ******
    --table user_login_info
    --target-dir /user/hive/warehouse/songdb.db/to_ycak_usr_login_d/data_dt=$date
    --num-mappers 1
    --fields-terminated-by "t"
    --null-string '\N'
    --null-non-string '\N'
    --incremental append
    --check-column id
    --last-value $maxid