Sqoop实现mysql与hive数据表互相导入

文章目录

• • 1. 上传解压搭建sqoop
  • • 1.1 解压后改名
    • 1.2 修改配置文件
    • 1.3 重命名
    • 1.4修改配置文件
    • 1.5拷贝mysql驱动包到/usr/sqoop/lib库下
    • 1.6 sqoop version查看版本
    • 1.7 测试连接
  • 2.将mysql中学生表导入到hive中
  • • 2.1 先清空hive中的student表
    • 2.2 MysqlToHive.opt 文件内容
    • 2.3 执行命令
  • 3. 将hive中student表导出到mysql的学生表中
  • • 3.1 先清空mysql中的学生表
    • 3.2 HiveToMysql.opt 文件内容
    • 3.3 执行命令

1. 上传解压搭建sqoop

1.1 解压后改名

1.2 修改配置文件

vim /etc/profile    
source /etc/profile

1.3 重命名

mv sqoop-env-template.sh sqoop-env.sh

1.4修改配置文件

1.5拷贝mysql驱动包到/usr/sqoop/lib库下

cp ~/mysql-connector-java-5.1.48.jar /usr/sqoop/lib/

1.6 sqoop version查看版本

1.7 测试连接

sqoop list-databases --connect jdbc:mysql://master1:3306/ --username root --password 123456

2.将mysql中学生表导入到hive中 2.1 先清空hive中的student表

2.2 MysqlToHive.opt 文件内容

2.3 执行命令

sqoop --options-file  MysqlToHive.opt 

3. 将hive中student表导出到mysql的学生表中 3.1 先清空mysql中的学生表

3.2 HiveToMysql.opt 文件内容

3.3 执行命令

sqoop --options-file  HiveToMysql.opt