这是我们实战优化篇的第二篇文章,和上一篇一样都是我们做项目遇到的,前面介绍过这个项目的背景,我们做的是舆情监控这一块的,涉及到和外部算法系统做交互,其实就是调用算法接口。
面对这样的背景,我们首先想到的就是通过UDF 来做,当然我们也是这么想的,接下来我们就看一下这个方案遇到的问题以及如何优化,我们前面也写过很多关于UDF的了,你可以参考前面的文章。
- Hive实战之UDF分词
- Hive实战之UDF解析IP地址
- Hive实战之UDF 加密
- Hive 实战之UDF 复杂JSON 处理
- Hive实战之UDF汉字首字母
我们第一版其实就是一个普通的UDF ,其实我们知道Hive 的UDF 分三种,UDF、UDAF、UDTF ,我们直接看代码,这个代码很简单,就接收11个参数,然后发起外部请求



