栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive中json格式字段解析

hive中json格式字段解析

如果hive表中有扩展字段,那么扩展字段格式最常见的就是json格式,所以如何解析json字符串相对繁琐(虽然没啥技术)
用到的hive功能函数有:get_json_object、explode、split、regexp_replace、regexp_extract

-- json字段样式:[{'a':1, 'b':2}, {'a':3, 'b':4}], 字段名称为json_str
select 
	col_id,
	get_json_object(json_item, '$.a') as new_a, -- 读取json_str中的key为“a”的数据
from table_name
lateral view explode(split(regexp_replace(regexp_extract(json_str, '^[(.+)]$', 1),  -- 取出“[]”中间内容(regexp_extract)
'}, {', '}¥@¥{'),   -- 将“}, {”替换为“'}¥@¥{”(regexp_replace)
'¥@¥')) any_name  as json_item  -- 按照“¥@¥”分割(split) , 且将分割得到的list拆分成多行(explode)
where conditon=''   -- 自定义条件(针对table_name的条件)
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/439190.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号