将关系型数据库中的表映射为一个Java类,在该类中有各列对应的各个字段。
如:
sqoop codegen --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --table staff --bindir /home/admin/Desktop/staff --class-name Staff --fields-terminated-by "t"
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –bindir | 指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径 |
| 2 | –class-name | 设定生成的Java文件指定的名称 |
| 3 | –outdir | 生成Java文件存放的路径 |
| 4 | –package-name | 包名,如com.z,就会生成com和z两级目录 |
| 5 | –input-null-non-string | 在生成的Java文件中,可以将null字符串或者不存在的字符串设置为想要设定的值(例如空字符串) |
| 6 | –input-null-string | 将null字符串替换成想要替换的值(一般与5同时使用) |
| 7 | –map-column-java | 数据库字段在生成的Java文件中会映射成各种属性,且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型,例如:–map-column-java id=long, name=String |
| 8 | –null-non-string | 在生成Java文件时,可以将不存在或者null的字符串设置为其他值 |
| 9 | –null-string | 在生成Java文件时,将null字符串设置为其他值(一般与8同时使用) |
| 10 | –table | 对应关系数据库中的表名,生成的Java文件中的各个属性与该表的各个字段一一对应 |
生成与关系数据库表结构对应的hive表结构。
命令:
如:
sqoop create-hive-table --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --table staff --hive-table hive_staff
参数:
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –hive-home | Hive的安装目录,可以通过该参数覆盖掉默认的Hive目录 |
| 2 | –hive-overwrite | 覆盖掉在Hive表中已经存在的数据 |
| 3 | –create-hive-table | 默认是false,如果目标表已经存在了,那么创建任务会失败 |
| 4 | –hive-table | 后面接要创建的hive表 |
| 5 | –table | 指定关系数据库的表名 |
可以快速的使用SQL语句对关系型数据库进行操作,经常用于在import数据之前,了解一下SQL语句是否正确,数据是否正常,并可以将结果显示在控制台。
命令:
如:
sqoop eval --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --query "SELECt * FROM staff"
参数:
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –query或–e | 后跟查询的SQL语句 |
可以将RDBMS中的所有表导入到HDFS中,每一个表都对应一个HDFS目录
命令:
如:
sqoop import-all-tables --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --warehouse-dir /all_tables
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –as-avrodatafile | 这些参数的含义均和import对应的含义一致 |
| 2 | –as-sequencefile | |
| 3 | –as-textfile | |
| 4 | –direct | |
| 5 | –direct-split-size | |
| 6 | –inline-lob-limit | |
| 7 | –m或—num-mappers | |
| 8 | –warehouse-dir | |
| 9 | -z或–compress | |
| 10 | –compression-codec |
用来生成一个sqoop任务,生成后不会立即执行,需要手动执行。
命令:
如:
sqoop job --create myjob -- import-all-tables --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 sqoop job --list sqoop job --exec myjob
尖叫提示:注意import-all-tables和它左边的--之间有一个空格
尖叫提示:如果需要连接metastore,则–meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop
参数:
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –create | 创建job参数 |
| 2 | –delete | 删除一个job |
| 3 | –exec | 执行一个job |
| 4 | –help | 显示job帮助 |
| 5 | –list | 显示job列表 |
| 6 | –meta-connect | 用来连接metastore服务 |
| 7 | –show | 显示一个job的信息 |
| 8 | –verbose | 打印命令运行时的详细信息 |
尖叫提示:在执行一个job时,如果需要手动输入数据库密码,可以做如下优化
list-databasessqoop.metastore.client.record.password true If true, allow saved passwords in the metastore.
命令:
如:
sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456
参数:与公用参数一样
list-tables命令:
如:
sqoop list-tables --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456
参数:与公用参数一样
merge将HDFS中不同目录下面的数据合并在一起并放入指定目录中
数据环境:
new_staff 1 AAA male 2 BBB male 3 CCC male 4 DDD male old_staff 1 AAA female 2 CCC female 3 BBB female 6 DDD female
尖叫提示:上边数据的列之间的分隔符应该为t,行与行之间的分割符为n,如果直接复制,请检查之。
命令:
如:
创建JavaBean:
sqoop codegen --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --table staff --bindir /home/admin/Desktop/staff --class-name Staff --fields-terminated-by "t"
开始合并:
sqoop merge --new-data /test/new/ --onto /test/old/ --target-dir /test/merged --jar-file /home/admin/Desktop/staff/Staff.jar --class-name Staff --merge-key id
结果:
1 AAA MALE 2 BBB MALE 3 CCC MALE 4 DDD MALE 6 DDD FEMALE
参数:
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –new-data | HDFS 待合并的数据目录,合并后在新的数据集中保留 |
| 2 | –onto | HDFS合并后,重复的部分在新的数据集中被覆盖 |
| 3 | –merge-key | 合并键,一般是主键ID |
| 4 | –jar-file | 合并时引入的jar包,该jar包是通过Codegen工具生成的jar包 |
| 5 | –class-name | 对应的表名或对象名,该class类是包含在jar包中的 |
| 6 | –target-dir | 合并后的数据在HDFS里存放的目录 |
记录了Sqoop job的元数据信息,如果不启动该服务,那么默认job元数据的存储目录为~/.sqoop,可在sqoop-site.xml中修改。
命令:
如:启动sqoop的metastore服务:sqoop metastore
参数:
| 序号 | 参数 | 说明 |
|---|---|---|
| 1 | –shutdown | 关闭metastore |



