- 前言
- 问题来源
- 解决过程
- 总结
记录一下自己实习中遇到一个需求问题,内存不足,概括解决方法的核心就是: 以时间换空间
问题来源写这篇文章的目的是因为这两天遇到一个需求: 取数,其中到一步因为运行内存的问题一直卡住, 大概是这样
| user_id | fan_list |
|---|---|
| 1 | […贼多几百万] |
我想将其拉成一张大表user_id, fan_id 去匹配连接fan的信息, 但是因为内存原因我无法拉出一个几千万行的数据表, 这个好像可以上spark 解决这个,但是spark上面用python我不太熟悉,
- 我听leader说也会复杂一点, 我瞬间产生点怯意,因为这个要得急,我又不确定要花多少时间, 所以在我还比较熟悉的SQL spark上将自己的python写逻辑转换成sql逻辑,
- 但是 遇到一个问题, sql语句怎么显示一行变多行的操作,多行变一行用groupby这个我会,但是反过来我就不清楚了
-
所以我一边百度一边在hue上进行验证, 找到了这个函数
LATERAL VIEW
