Sqoop——学习笔记

Sqoop 1.简介

​ sqoop是一款开源的工具，主要用于在Hadoop（Hive）与传统的数据库之间进行数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将HDFS的数据导出到关系型数据库中

2.原理

​ 把导入或者导出命令翻译成MR程序来实现

​ 在翻译出的MR中主要是对inputformat 和 outputformat进行定制

3.安装

前提：已经安装好 Java和Hadoop的环境

3.1下载解压

​ 1.下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

​ 2.把Sqoop的安装包上传到虚拟机

​ 3.解压安装包大指定目录

3.2修改配置文件

配置文件在sqoop根目录下的conf文件夹中，

1.配置文件重命名

mv sqoop-env-template.sh sqoop-env.sh

2.修改配置文件 sqoop-env.sh

配置hadoop hbase hive zookeeper 的位置

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10

export ZOOCFGDIR=/opt/module/zookeeper-3.4.10

export Hbase_HOME=/opt/module/hbase

3.3拷贝JDBC驱动

把 JDBC的驱动拷贝到sqoop的lib目录下

3.4.验证sqoop

$ bin/sqoop help

会出现一些警告，接着帮助命令将回输出

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     import a table definition into Hive
  eval               evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             import a table from a database to HDFS
  import-all-tables     import tables from a database to HDFS
  import-mainframe    import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

3.5.sqoop连接数据库测试

bin/sqoop list-databases --connect jdbc:mysql://hadoop136:3306/ --username root --password 111111

出现以下的输出

information_schema
metastore
mysql
oozie
performance_schema

4.sqoop简单使用案例 4.1导入数据

导入：从非大数据集群（RDBFS）向大数据集群（HIVE,HDFS,Hbase）中传输数据

4.1.1 RDBMS 到 HDFS

1.确认 mysql服务开启正常

2.在mysql中新建一张表，插入两条数据

 mysql -uroot -p000000
create database company;
create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
 insert into company.staff(name, sex) values('Thomas', 'Male');
 insert into company.staff(name, sex) values('Catalina', 'FeMale');

3.导入数据

​ 1.全部导入

 bin/sqoop import 
--connect jdbc:mysql://hadoop136:3306/company 
--username root 
--password 111111 
--table staff 
--target-dir /user/company 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t"

2.查询导入

 bin/sqoop import 
--connect jdbc:mysql://hadoop136:3306/company 
--username root 
--password 111111 
--target-dir /user/company 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

3.导入指定列 –columns

 bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 000000 
--target-dir /user/company 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--columns id,sex 
--table staff

columns 如果涉及到多列，用逗号分隔，分隔时不要添加空格

4.使用sqoop关键字筛选查询导入数据 –where

 bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 000000 
--target-dir /user/company 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t" 
--table staff 
--where "id=1"

4.1.2RDBMS 到 HIVE

 bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 000000 
--table staff 
--num-mappers 1 
--hive-import 
--fields-terminated-by "t" 
--hive-overwrite 
--hive-table staff_hive

该过程分为两步，第一步将数据导入HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录：/user/username（用户名）/表名

4.1.3RDBMS 到 Hbase

bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 000000 
--table staff 
--columns "id,name,sex" 
--column-family "info" 
--hbase-create-table 
--hbase-row-key "id" 
--hbase-table "hbase_company" 
--num-mappers 1 
--split-by id

sqoop1.4.6只支持hbase1.0.1版本之前的自动创建Hbase表

所以手动创建Hbase表

在Hbase中查看表的内容

scan ‘hbase_company’

4.2导出数据

导出：从大数据集群（HIVE,HDFS,Hbase）向非大数据集群中传输数据

4.2.1 HIVE/HDFS 到 RDBMS

mysql中表不存在的话，不会自动创建

 bin/sqoop export 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 000000 
--table staff 
--num-mappers 1 
--export-dir /user/hive/warehouse/staff_hive 
--input-fields-terminated-by "t"

4.3脚本打包

使用opt格式的文件打包sqoop命令，然后执行

1.创建一个.opt文件

 mkdir opt
 touch opt/job_HDFS2RDBMS.opt

2.编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

//下边是脚本
export
--connect
jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--table staff
--num-mappers 1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by "t"

3.执行脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt