栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

技术整理sqoop

技术整理sqoop

Sqoop的安装与部署
1/ 将sqoop解压 到usr下
2/ 配置sqoop下的conf目录下的env环境文件
先切换目录:cd /usr/sqoop/conf
编辑文件命令:gedit sqoop-env-template.sh
找到被注释的有关HADOOP的变量 2个
将前面注释的#号去掉
将等号后的值改为hadoop路径:=usr/hadoop
Hbase路径用不到 就注释掉
Hive也可以不配置 Zookeeper也可以不配置
3/ 将mysql的jdbc的jar包 拷贝到sqoop/lib/下
4/ 在sqoop的bin目录下,有很多命令
下面命令是测试连接mysql
(首先,保证mysql’有’密码,没设置密码的,自行百度,把mysql中的user表的Host列的localhost改为% 这样就给了外部机器访问权限
查询–>新建查询,输入sql语句刷新mysql
:flush privileges;
然后把mysql的my.ini文件加入
[mysqld]
bind-address=0.0.0.0
这段命令也是给所有连接权限) 重启mysql服务

返回数据库信息

返回库里的表的信息

Hdfs导出到mysql

直接复制这段:./sqoop export --connect jdbc:mysql://172.16.2.2:3306/test --username root --password 1234 --input-fields-terminated-by “t” --table abc --export-dir /flume/output/part-r-00000
注意!!!
–input-fields-terminated-by 分割命令后面必须是单字符!!!
mysql的列应该和hdfs的数据分割列相反
把连库串修改下
注:
input-fields-terminated-by ‘—’ 根据’—’分割字段
–export-dir 后面是hdfs里的数据块

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/422376.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号