栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

使用sqoop将mysql数据导入hive

使用sqoop将mysql数据导入hive

-----------------------mysql to hive(一、先建表,再导入数据)------------------------------
在hive中创建表kb15.student_mysql,数据结构与mysql中student相同
[root@mihaoyu151 ~]# sqoop create-hive-table 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student 
> --hive-table kb15.student_mysql
-----------------------------------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student 
> --hive-table kb15.student_mysql 
> --hive-import 
> --m 1
------------------------mysql to hive(二、同时建表、导入数据)-----------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student 
> --hive-import 
> --hive-database kb15 
> --m 1
-----------------------where------------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student 
> --where "telephone='13613309876' and classId=3" 
> --target-dir /sqoop/demo3 
> --delete-target-dir 
> --m 1
------------------------query-----------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --query 'select id,name,age,gender,telephone,email,classId from student where id>3 and classId=1 and $CONDITIONS' 
> --target-dir /sqoop/demo6 
> --delete-target-dir 
> --fields-terminated-by 't' 
> --split-by classId 
> --m 1
----------------------增量导入-------------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student 
> --target-dir /sqoop/incre1 
> --incremental append 
> --check-column id 
> --last-value 9 
> --m 1
------------------incremental增量导入	lastmodified -----------------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student2 
> --target-dir /sqoop/incre2 
> --incremental lastmodified 
> --check-column last_mod 
> --last-value "2021-11-23 11:07:05" 
> --append 
> --m 1
------------------incremental增量导入	lastmodified -----------------------------------
[root@mihaoyu151 ~]# sqoop import 
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb 
> --username root 
> --password root 
> --table student2 
> --target-dir /sqoop/incre3 
> --incremental lastmodified 
> --check-column last_mod 
> --last-value "2021-11-23 11:11:32" 
> --merge-key id 
> --m 1
-----------------------------------------------------
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604992.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号