Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本实验学习Sqoop的安装和使用，版本是1.4.6。
目录
一、安装sqoop
1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）编辑
2、配置环境变量SQOOP_HOME和PATH并source
3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）
编辑
4、把mysql驱动添加到$SQOOP_HOME/lib下
5、测试与mysql的连接
二、sqoop job的使用
1、创建job
2、查看job
3、查看全部
4、执行job
5、删除job
一、安装sqoop
1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）
tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C ../app
tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C ../app
目录名太长，改名为sqoop-1.4.6（mv）
2、配置环境变量SQOOP_HOME和PATH并source
3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）
编辑以下内容（这4个属性已经存在，把前面#号去掉，设置对应值，可从.bash_profile 中拷贝）
#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.7.1 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.7.1 #set the path to where bin/hbase is available export HBASE_HOME=/home/hadoop/app/hbase-1.1.5 #Set the path to where bin/hive is available export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin
4、把mysql驱动添加到$SQOOP_HOME/lib下
5、测试与mysql的连接
首先启动mysql服务，在前面实验中我们已经把mysql服务设置为开机启动。通过systemctl status mariadb.service可以查看
然后输入以下命令
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --P
输入mysql 用户root的密码root，能看到mysql下数据库信息就成功了。
二、sqoop job的使用
1、创建job
创建job前先建立隐藏密码文件.mysql.password(该文件路径及名字任意，以.打头是隐藏文件，将密码暴露在外面不安全)
echo -n "root" > .mysql.password
（密码为root）
注意用上面命令写入密码，不能直接在文件中输入。
然后创建job
sqoop job --create job1 -- import --connect jdbc:mysql://localhost:3306/test --username root --password-file file:/home/hadoop/.mysql.password --table t1 --target-dir /sqoop/t1 --driver com.mysql.jdbc.Driver -m 1 --check-column id --incremental append --last-value 0--verbose
注意--和import之间有一个空格，--verbose含义是打印命令运行时的详细信息。
2、查看job
sqoop job –show job1
3、查看全部
sqoop job –list
4、执行job
sqoop job --exec myjob
5、删除job
sqoop job --delete myjob
sqoop job --delete myjob
本篇文章仅是对自己大数据计算框架作业的一次总结，其中安装包及驱动并未提供，如有需要请私信。
