栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive spark 查询json中数组的长度

hive spark 查询json中数组的长度

求出ee 对应的数组的长度.
-- 数据格式如下
{
    "aa": "2021-09-10-08-00-00",
    "bb": "格式参考如下"
}
{
    "cc": "lpOkP...",
    "dd": [
        {
            "c1": "TGCSP...",
            "c2": 2,
            "c3": 0,
            "c4": "1436122160469676032",
            "c5": "Fw61LVxMA1BHNH5LQJH273",
            "c6": 1631233179000
        }
    ],
    "ee": [
        "1436122160469676032"
    ],
    "ff": "1436122160469676032",
    "gg": "1436122160469676032",
    "hh": 1631233179000
}

---

hive sql或者sparksql

sparksql 添加 array 最准确,但是速度貌似不太好.还不如正则来的快. 你们自己测试下.

-- 查json中数组长度 hivesql
select
  dt,sum(size(split(regexp_replace(regexp_replace(get_json_object(json, "$.ee"),'\[|\]',''),'"',''
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752904.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号