sqoop的安装和使用

版本说明 目前 sqoop最稳定版本是 1.4.7

sqoop1.4.7兼容hadoop2.6以上所有版本

下载 sqoop
https://archive.apache.org/dist/sqoop/

解压安装

增加配置
vi /etc/profile

export SPARK_HOME=/usr/local/work/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SPARK_HOME/bin

保存 source /etc/profile

我mysql安装版本 8.0

下载jar包可以去https://mvnrepository.com/maven仓库进行下载

将mysql-connector-java-8.0.16.jar拷贝jdbc驱动到sqoop的lib目录下

4.修改配置文件

在bin目录下修改configure-sqoop，修改掉对hbase和ZOOKEEPER的验证

#if [ -z "${Hbase_HOME}" ]; then
#  if [ -d "/usr/lib/hbase" ]; then
#    Hbase_HOME=/usr/lib/hbase
#  else
#    Hbase_HOME=${SQOOP_HOME}/../hbase
#  fi
#fi



#if [ -z "${ZOOKEEPER_HOME}" ]; then
 # if [ -d "/usr/lib/zookeeper" ]; then
  #  ZOOKEEPER_HOME=/usr/lib/zookeeper
  #else
   # ZOOKEEPER_HOME=${SQOOP_HOME}/../zookeeper
  #fi
#fi

测试

bin/sqoop list-tables --connect jdbc:mysql://102.188.120.201:3306/flink_web?serverTimezone=UTC --username root --password  fl606123

报错，说是Stringutils没找到

下载并导入commons-lang-2.6.jar包即可
再次运行成功