[Sqoop]简单使用

摘要sqoop介绍sqoop原理sqoop安装前提sqoop的简单使用

导入数据

从RDBMS到hdfs

全部导入导入指定列 --columns导入指定行 --where查询导入 RDBMS到HiveRDBMS到Hbase 导出数据

HIVE/HDFS到RDBMS 脚本打包

Apache 董事会宣布终止 Apache Sqoop 项目，详见下篇文章
sqoop从Apache项目中移除
正如文章结尾所说：并不影响我们继续使用，只是sqoop目前已经很成熟了。

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle…)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
Sqoop2的最新版本是1.99.7。请注意，2与1不兼容，且特征不完整，它并不打算用于生产部署。

将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

具备java和hadoop环境

从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，Hbase）中传输数据，叫做：导入，即使用import关键字

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--target-dir /company 
--delete-target-dir 
--fields-terminated-by "t" 
--num-mappers 2 
--split-by id

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--columns id,name 
--target-dir /company 
--delete-target-dir 
--fields-terminated-by "t" 
--num-mappers 1 
--split-by id

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--where 'id >= 10 and id <= 20' 
--target-dir /company 
--delete-target-dir 
--fields-terminated-by "t" 
--num-mappers 1 
--split-by id

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--query "select * from staff where $CONDITIONS and id <= 25" 
--target-dir /company 
--delete-target-dir 
--fields-terminated-by "t" 
--num-mappers 2 
--split-by id

提示：must contain ' C O N D I T I O N S ′ i n W H E R E c l a u s e . 如 果 q u e r y 后 使 用 的 是 双 引 号 ， 则 CONDITIONS' in WHERe clause. 如果query后使用的是双引号，则 CONDITIONS′inWHEREclause.如果query后使用的是双引号，则CONDITIONS前必须加转移符，防止shell识别为自己的变量。

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--num-mappers 1 
--hive-import 
--fields-terminated-by "t" 
--hive-overwrite 
--hive-table staff_hive

提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名

$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--where 'id <= 5' 
--hbase-create-table 
--hbase-table "staff_hbase" 
--hbase-row-key "id" 
--column-family "info" 
--num-mappers 1 
--split-by id

提示：sqoop1.4.6只支持Hbase1.0.1之前的版本的自动创建Hbase表的功能
解决方案：手动创建Hbase表

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

$ bin/sqoop export 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff2 
--num-mappers 1 
--export-dir /company 
--input-fields-terminated-by "t"

提示：Mysql中如果表不存在，不会自动创建
补充：–update-key和 --update-mode参数

使用opt格式的文件打包sqoop命令，然后执行
执行该脚本 $ bin/sqoop --options-file opt/job_mysql2hdfs.opt