栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

MongoDB迁移数据到hive

MongoDB迁移数据到hive

1、从MongoDB中导出csv文件;

mongoexport --host 172.16.177.214 --port 27017 --db monitor_center_backup --collection 'city' --type csv --fields _id,city_name,prov_id --out /home/ljn/mongodb_file/city.csv

2、hive中创建表结构

CREATE EXTERNAL TABLE `city`(`_id` int,`city_name` string,`prov_id` int) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ("separatorChar"=",", "quotechar"=""") LOCATION '/user/hive/interface_log/extend/city'

3、hive中加载csv文件

load data local inpath '/root/ljn/city.csv' into table interFace_Log.city;

4、从MongoDB迁移的数据中时间格式:2017-06-02T02:49:25.000Z,需要转换为‘yyyy-MM-dd HH:mm:ss’,语句如下:(from_unixtime(unix_timestamp(regexp_replace(server_log_2017.`time`, 'T|Z', ' ')),'yyyy-MM-dd HH:mm:ss')

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/336314.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号