Sqoop安装配置及操作注意事项(sqoop安装到hadoop集群)

安装条件下载并解压修改环境变量修改配置文件拷贝JDBC驱动拷贝 Hive 驱动验证SqoopSqoop 连接数据库

具备 Java 和 Hadoop 的环境

Java :

https://blog.csdn.net/qq_44226094/article/details/122685082

Hadoop HA :

https://blog.csdn.net/qq_44226094/article/details/123401032

下载地址：

http://archive.apache.org/dist/sqoop/1.4.7/

上传安装包 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 到 服务器

解压 sqoop 安装包到指定目录

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module

重命名

mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7/

sudo vim /etc/profile.d/my_env.sh

# SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile.d/my_env.sh

重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

修改配置文件

vim sqoop-env.sh 

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3

export HIVE_HOME=/opt/module/hive-3.1.2
export HIVE_CONF_DIR=$HIVE_HOME/conf

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

export Hbase_HOME=/opt/module/hbase-2.0.5

拷贝 jdbc 驱动到 sqoop 的 lib 目录

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.7/lib/

拷贝 Hive驱动到 sqoop 的 lib 目录

cp /opt/module/hive-3.1.2/lib/hive-common-3.1.2.jar /opt/module/sqoop-1.4.7/lib/

command来验证sqoop配置是否正确：

sqoop help

sqoop list-databases --connect jdbc:mysql://cpu102:3306/ --username root --password xxxxxx