高考报名时间2022年11月1日还剩 天 距离2023年6月7日高考还有 天
栏目分类:
子分类:
返回
名师互学网用户登录
名师互学网
快速导航关闭
当前搜索
当前分类
前沿技术 软件开发 系统运维 产品运营 生活办公 面试经验 考试题库
子分类
人工智能 大数据 云计算 区块链 物联网 深度学习 机器学习 NLP 计算机视觉 语音识别 其他 大数据系统 数据可视化 数据挖掘与分析 其他 Docker/k8s 虚拟化 云平台 其他 基本原理 数字货币 智能合约 EOS应用 其他 通讯技术 嵌入式开发 单片机 物联网应用 HarmonyOS 其他 后端开发 Web开发 移动开发 游戏开发 Python Java 架构设计 C/C++/C# PHP .Net Go语言 R语言
实用工具
学习工具 小学数学练习 字帖生成 在线画板 函数绘制 拼音字母表 在线词典 黄历查询 亲戚关系计算 安全期计算 中国历史 Excel函数 模拟请求 json格式化 浏览器指纹
热门搜索
路由器设置 木托盘 宝塔面板 儿童python教程 心情低落 朋友圈 vim 双一流学科 专升本 我的学校 日记学校 西点培训学校 汽修学校 情书 化妆学校 塔沟武校 异形模板 西南大学排名 最精辟人生短句 6步教你追回被骗的钱 南昌大学排名 清朝十二帝 北京印刷学院排名 北方工业大学排名 北京航空航天大学排名 首都经济贸易大学排名 中国传媒大学排名 首都师范大学排名 中国地质大学(北京)排名 北京信息科技大学排名
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive UDAF 求轨迹

大数据系统 更新时间： 发布时间： IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hive UDAF 求轨迹

hive UDAF 求轨迹

需求 :需要求用户的行动轨迹，例如：

uidlocation_idtime
00112021-10-01 12:21:21
00122021-10-01 12:22:21
00212021-10-01 09:23:21
00112021-10-01 11:24:21
00112021-10-01 12:25:21
00122021-10-01 12:26:21
00122021-10-01 01:26:21
00322021-10-01 12:26:21
00322021-10-01 12:27:21

结果

st location_iduidet
2021-10-01 01:26:2120012021-10-01 01:26:21
2021-10-01 11:24:2110012021-10-01 12:21:21
2021-10-01 12:22:2120012021-10-01 12:22:21
2021-10-01 12:25:2110012021-10-01 12:25:21
2021-10-01 12:26:2120012021-10-01 12:26:21
2021-10-01 09:23:2110022021-10-01 09:23:21
2021-10-01 12:26:2120032021-10-01 12:27:21

解析：
首先需要按照uid分组，组内需要按照时间进行排序，和上一条的数据进行对比，如果location_id不相等，那么就需要将上面的所有记录进行合并，st，et分别代表的是开始时间和结束时间。

注意：
需要注意的是，分组类进行操作的数据结构式List，分组内所有的数据都将在reduce端进行汇总，所以要考虑数据量的问题，一个分组内的数据不能太大，基本上轨迹信息，一个uid对应的数据不会很多，所以可以通过udaf函数来进行解决。

代码

pom.xml



    4.0.0

    org.example
    udf
    1.0-SNAPSHOT

    
        8
        8
    

    
        
            org.apache.hive
            hive-exec
            3.1.2
            provided
        

    



package com.yzz.udaf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.parse.SemanticException;
import org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFevaluator;
import org.apache.hadoop.hive.serde2.objectinspector.ListObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorUtils;
import org.apache.hadoop.hive.serde2.typeinfo.TypeInfo;
import org.apache.hadoop.io.Text;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;


@Description(name = "track", value = "_FUNC_(x,y,z,...) - 求轨迹")
public class TrackUDAF extends AbstractGenericUDAFResolver {

    
    @Override
    public GenericUDAFevaluator getevaluator(TypeInfo[] parameters) throws SemanticException {
        if (parameters.length < 2) {
            throw new SemanticException("参数必须不小于2 参数1：代表可供比较的字段例如轨迹中的点位id，参数2：代表时间，参数n：需要保留的字段");
        }
        List fieldsNames = new ArrayList<>(parameters.length);
        for (TypeInfo typeInfo : parameters) {
            fieldsNames.add(typeInfo.getQualifiedName());
        }
        return new TrackUDAFevaluator();
    }

    public static class TrackBuffer implements GenericUDAFevaluator.AggregationBuffer {
        List data = new ArrayList<>();

        List merge() {
            List newList = new ArrayList<>();
            StringBuilder first = null;
            String lastV1 = null;
            String lastV2 = null;
            for (Object obj : data) {
                Text txt = (Text) obj;
                String s = txt.toString();
                String[] split = s.split("\|");
                String v1 = split[0];
                String v2 = split[1];
                if (null == first) {
                    first = new StringBuilder(s);
                } else {
                    if (!v2.equals(lastV2)) {
                        first.append("|").append(lastV1);
                        newList.add(first.toString());
                        first = new StringBuilder(s);
                    }
                }
                lastV1 = v1;
                lastV2 = v2;
            }
            assert first != null;
            first.append("|").append(lastV1);
            newList.add(first.toString());
            return newList;
        }
    }


    
    public static class TrackUDAFevaluator extends GenericUDAFevaluator {


        
        private ObjectInspector[] MAP_OR_COMPLETE_OIS;
        private ListObjectInspector PARTIAL2_OR_FINAL_OIS;

        private Mode mode;

        public TrackUDAFevaluator() {
        }


        
        @Override
        public ObjectInspector init(Mode m, ObjectInspector[] parameters) throws HiveException {
            super.init(m, parameters);
            //INPUT
            if (m == Mode.PARTIAL1 || m == Mode.COMPLETE) {
                //如果是 map阶段或者只有map阶段
                MAP_OR_COMPLETE_OIS = parameters;
            } else {
                //剩下就是 PARTIAL2 和 FINAL
                PARTIAL2_OR_FINAL_OIS = (ListObjectInspector) parameters[0];
            }
            //OUTPUT
            return ObjectInspectorFactory.getStandardListObjectInspector(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        }


        @Override
        public AggregationBuffer getNewAggregationBuffer() throws HiveException {
            return new TrackBuffer();
        }

        @Override
        public void reset(AggregationBuffer agg) throws HiveException {
            TrackBuffer trackBuffer = (TrackBuffer) agg;
            trackBuffer.data.clear();
        }

        @Override
        public void iterate(AggregationBuffer agg, Object[] parameters) throws HiveException {
            TrackBuffer trackBuffer = (TrackBuffer) agg;
            StringBuilder sb = new StringBuilder();
            for (int i = 0, len = parameters.length; i < len; i++) {
                String data = PrimitiveObjectInspectorUtils.getString(parameters[i], (PrimitiveObjectInspector) MAP_OR_COMPLETE_OIS[i]);
                sb.append(data);
                if (i != len - 1) {
                    sb.append("|");
                }
            }
            trackBuffer.data.add(sb.toString());
        }

        @Override
        public Object terminatePartial(AggregationBuffer agg) throws HiveException {
            TrackBuffer trackBuffer = (TrackBuffer) agg;
            return trackBuffer.data;
        }

        
        @Override
        public void merge(AggregationBuffer agg, Object partial) throws HiveException {
            TrackBuffer trackBuffer = (TrackBuffer) agg;
            trackBuffer.data.addAll(PARTIAL2_OR_FINAL_OIS.getList(partial));
        }

        @Override
        public Object terminate(AggregationBuffer agg) throws HiveException {
            //reduce
            TrackBuffer trackBuffer = (TrackBuffer) agg;
            trackBuffer.data.sort(new Comparator() {
                @Override
                public int compare(Object o1, Object o2) {
                    Text s1 = (Text) o1;
                    Text s2 = (Text) o2;
                    return s1.compareTo(s2);

                }
            });

            return trackBuffer.merge();
        }
    }
}

 
打包 上传 导入hive 

  • 打包
  • 上传至hdfs
  • 导入hive add jar hdfs://nameservice/xxx
  • 创建零时函数 create temporary function track as “com.yzz.udaf.TrackUDAF”;
  • 执行 select track(data_time,location_id,tag) from test.dw group by tag;
 
参考 

https://blog.csdn.net/weixin_39469127/article/details/89766266
 https://blog.csdn.net/kent7306/article/details/50110067







转载请注明：文章转载自 www.mshxw.com















大数据系统相关栏目本月热门文章












热门相关搜索






路由器设置
木托盘
宝塔面板
儿童python教程
心情低落
朋友圈
vim
双一流学科
专升本
我的学校
日记学校
西点培训学校
汽修学校
情书
化妆学校
塔沟武校
异形模板
西南大学排名
最精辟人生短句
6步教你追回被骗的钱
南昌大学排名
清朝十二帝
北京印刷学院排名
北方工业大学排名
北京航空航天大学排名
首都经济贸易大学排名
中国传媒大学排名
首都师范大学排名
中国地质大学(北京)排名
北京信息科技大学排名
中央民族大学排名
北京舞蹈学院排名
北京电影学院排名
中国戏曲学院排名
河北政法职业学院排名
河北经贸大学排名
天津中德应用技术大学排名
天津医学高等专科学校排名
天津美术学院排名
天津音乐学院排名
天津工业大学排名
北京工业大学耿丹学院排名
北京警察学院排名
天津科技大学排名
北京邮电大学(宏福校区)排名
北京网络职业学院排名
北京大学医学部排名
河北科技大学排名
河北地质大学排名
河北体育学院排名















学习工具


代数计算器


三角函数


解析几何


立体几何






知识解答


教育知识


百科知识


生活知识


常识知识






写作必备


作文大全


作文素材


句子大全



实用范文






关于我们


关于我们


联系我们


网站地图






 交流群

名师互学网交流群




名师互学网客服

名师互学网客服












名师互学网 版权所有 (c)2021-2022      ICP备案号：晋ICP备2021003244-6号
 








我们一直用心在做

关于我们
文章归档
网站地图
联系我们

版权所有 (c)2021-2022 MSHXW.COM


ICP备案号：晋ICP备2021003244-6号