sqoop安装

下载：

Index of /dist/sqoop

解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

cd /usr/local/sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

增加如下配置

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export ZOOKEEPER_HOME=/usr/local/zookeeper
export Hbase_HOME=/usr/local/hbase
 

将mysql驱动包放到sqoop/lib下。

cp mysql-connector-java-5.1.27-bin.jar ../sqoop/lib

验证sqoop

连接mysql

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 密码

导入数据：从关系型数据库（RDBMS）导入大数据集群（HDFS,HIVE,Hbase）中传输数据。用import导入

导入数据：

1、全部导入

bin/sqoop import
--connect jdbc:mysql://localhost:3306/company
--username root
--password 密码 
--table staff
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"

 导入成功后可以在Hadoop中看到。

 2、查询导入

bin/sqoop import
--connect jdbc:mysql://localhost:3306/company
--username root
--password 111111
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

3、导入指定列

bin/sqoop import
--connect jdbc:mysql://localhost:3306/company
--username root
--password 111111
--table staff
--columns id,sex
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t" 

 4、where

 bin/sqoop import
--connect jdbc:mysql://localhost:3306/company
--username root
--password 111111
--table staff
--columns id,sex
--where "id=1"
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t" 

5、RDBMS到HIve
bin/sqoop import
--connect jdbc:mysql://localhost:3306/company
--username root
--password 111111
--table staff
--num-mappers 1
--hive-import
--fields-terminated-by "t"  
--hive-overwrite
--hive-table staff_hive

提示：该过程分两步，第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名

6、RDBMS到Hbase

bin/sqoop import
--connect jdbc:mysql://192.168.3.58:3306/company
--username root
--password 111111
--table staff
--columns "id,name,sex"
--column-family "info"
--hbase-create-table
--hbase-row-key "id"
--hbase-table "hbase-company"
--num-mappers 1
--split-by id

直接在sqoop执行报错，因为版本不兼容，需要先在Hbase上建表。

导出：从大数据集群（HDFS/HIVE/Hbase）向非大数据集群（RDBMS）中传输数据。使用export关键字.

从HIVE导出数据到mysql

bin/sqoop export
--connect jdbc:mysql://192.168.3.58:3306/company
--username root
--password 111111
--table staff
--num-mappers 1
--export-dir /user/hive/warehouse/staff_hive
--input-fields-terminated-by "t"

hadoop查看运行时错误日志。

运行导出到mysql命令卡住后看日志，由日志可以看出，是因为主键冲突了，删掉数据后，过一会就会导入成功。