栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Sqoop 命令参数

Sqoop 命令参数

Sqoop 命令参数 codegen

将关系型数据库中的表映射为一个Java类,在该类中有各列对应的各个字段。
如:

sqoop codegen 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--bindir /home/admin/Desktop/staff 
--class-name Staff 
--fields-terminated-by "t"
序号参数说明
1–bindir 指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径
2–class-name 设定生成的Java文件指定的名称
3–outdir 生成Java文件存放的路径
4–package-name 包名,如com.z,就会生成com和z两级目录
5–input-null-non-string 在生成的Java文件中,可以将null字符串或者不存在的字符串设置为想要设定的值(例如空字符串)
6–input-null-string 将null字符串替换成想要替换的值(一般与5同时使用)
7–map-column-java 数据库字段在生成的Java文件中会映射成各种属性,且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型,例如:–map-column-java id=long, name=String
8–null-non-string 在生成Java文件时,可以将不存在或者null的字符串设置为其他值
9–null-string 在生成Java文件时,将null字符串设置为其他值(一般与8同时使用)
10–table 对应关系数据库中的表名,生成的Java文件中的各个属性与该表的各个字段一一对应
create-hive-table

生成与关系数据库表结构对应的hive表结构。
命令:
如:

sqoop create-hive-table 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--hive-table hive_staff

参数:

序号参数说明
1–hive-home Hive的安装目录,可以通过该参数覆盖掉默认的Hive目录
2–hive-overwrite覆盖掉在Hive表中已经存在的数据
3–create-hive-table默认是false,如果目标表已经存在了,那么创建任务会失败
4–hive-table后面接要创建的hive表
5–table指定关系数据库的表名
eval

可以快速的使用SQL语句对关系型数据库进行操作,经常用于在import数据之前,了解一下SQL语句是否正确,数据是否正常,并可以将结果显示在控制台。
命令:
如:

sqoop eval 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--query "SELECt * FROM staff"

参数:

序号参数说明
1–query或–e后跟查询的SQL语句
import-all-tables

可以将RDBMS中的所有表导入到HDFS中,每一个表都对应一个HDFS目录
命令:
如:

sqoop import-all-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--warehouse-dir /all_tables
序号参数说明
1–as-avrodatafile这些参数的含义均和import对应的含义一致
2–as-sequencefile
3–as-textfile
4–direct
5–direct-split-size
6–inline-lob-limit
7–m或—num-mappers
8–warehouse-dir
9-z或–compress
10–compression-codec
job

用来生成一个sqoop任务,生成后不会立即执行,需要手动执行。
命令:
如:

sqoop job 
--create myjob -- import-all-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456

sqoop job --list

sqoop job --exec myjob

尖叫提示:注意import-all-tables和它左边的--之间有一个空格
尖叫提示:如果需要连接metastore,则–meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop
参数:

序号参数说明
1–create 创建job参数
2–delete 删除一个job
3–exec 执行一个job
4–help显示job帮助
5–list显示job列表
6–meta-connect 用来连接metastore服务
7–show 显示一个job的信息
8–verbose打印命令运行时的详细信息

尖叫提示:在执行一个job时,如果需要手动输入数据库密码,可以做如下优化


	sqoop.metastore.client.record.password
	true
	If true, allow saved passwords in the metastore.

list-databases

命令:
如:

sqoop list-databases 
--connect jdbc:mysql://hadoop102:3306/ 
--username root 
--password 123456

参数:与公用参数一样

list-tables

命令:
如:

sqoop list-tables 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456

参数:与公用参数一样

merge

将HDFS中不同目录下面的数据合并在一起并放入指定目录中
数据环境:

new_staff
1       AAA     male
2       BBB     male
3       CCC     male
4       DDD     male
old_staff
1       AAA     female
2       CCC     female
3       BBB     female
6       DDD     female

尖叫提示:上边数据的列之间的分隔符应该为t,行与行之间的分割符为n,如果直接复制,请检查之。
命令:
如:
创建JavaBean:

sqoop codegen 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--bindir /home/admin/Desktop/staff 
--class-name Staff 
--fields-terminated-by "t"

开始合并:

sqoop merge 
--new-data /test/new/ 
--onto /test/old/ 
--target-dir /test/merged 
--jar-file /home/admin/Desktop/staff/Staff.jar 
--class-name Staff 
--merge-key id

结果:

1	AAA	MALE
2	BBB	MALE
3	CCC	MALE
4	DDD	MALE
6	DDD	FEMALE

参数:

序号参数说明
1–new-data HDFS 待合并的数据目录,合并后在新的数据集中保留
2–onto HDFS合并后,重复的部分在新的数据集中被覆盖
3–merge-key
合并键,一般是主键ID
4–jar-file 合并时引入的jar包,该jar包是通过Codegen工具生成的jar包
5–class-name 对应的表名或对象名,该class类是包含在jar包中的
6–target-dir 合并后的数据在HDFS里存放的目录
metastore

记录了Sqoop job的元数据信息,如果不启动该服务,那么默认job元数据的存储目录为~/.sqoop,可在sqoop-site.xml中修改。
命令:
如:启动sqoop的metastore服务:sqoop metastore
参数:

序号参数说明
1–shutdown关闭metastore
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/682696.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号