我之前的理解是使用with 时,就是相当于把字查询给提取出来,这样代码可读性更高,并且该子查询可以重复使用,并且相较于直接创建临时表不会落盘,这样效率会.......直到有一次,我优化一个大job,发现这个大job全是用创建临时表的方式保存中间结果,我想着这要是全部改成with的方式那效率还不提高好多???我立马开干,三下五除二就全部换成with的语句了,结果执行的时候发现居然执行不动!!原本一个小时的任务执行完成的任务,我修改了执行2.2个小时都还没执行成功!!我赶紧去yarn上看日志,发现新job生成的task是原来的4倍多!!原来一共就1万多个task现在居然变成了7万多个...具体为什么会这样我还不清楚,等我研究一下再来;
我去网上研究了一下,终于找到了一些蛛丝马迹
1.with 的sql语句段虽然可以重复使用,但是每次使用的时候会重新执行with子句,相当于和直接写子查询没啥区别....并且结果不会存在内存,不然你想一下,hive处理大量数据的时候如果全部存在内存不就oom了吗,所以这玩意就一个美化代码的作用....而且如果当我们要多次用到同一个代码片段的时候甚至使用创建临时表的方式更好.
