在平时的工作中，join是一个高频使用的操作，spark有以下几种关联形式
这里不详细赘述每种jion操作。重点探讨这些关联方式实现的关联机制。通常我们会将大表写在前面，小表写在后面，在实现机制里面 关联的左表叫做 驱动表，右表叫做基表。有下面3中实现方式。
NLJ：Nested Loop Join实现机制就是 嵌套循环机型对比，左表外层循环，假如有M条记录，右表内存循环，假如N条件记录，算法的复杂度O（M*N）,简单清晰，但效率低。
SMJ：Sort Merge Join顾名思义，即先排序，再关联。数据排好序之后，数据排序特点，犹如游标卡尺。
①如果关联条件相等，输出2边结果，跳到下一游标行。
②如果关联条件不相等，左表id < 右表id，左表游标跳下一游标行。
③如果关联条件不相等，左表id > 右表id，右表游标跳下一游标行。
算法复杂度O（M+N）,但排序需要消耗性能
HJ：Hash Join以空间换时间，将基表制作成一个散列表（哈希表），关联的算法复杂度为O（1）。
单机的join，掌握NLJ、SMJ、HJ三种实现机制即可；分布式join的话，还需要考虑是shuffle join，还是Broadcast join
shuffle joinspark shuffle机制根据值对应的hash值，把数据分发到对应的executor上，然后在在executor中执行NLJ、SMJ、HJ三种关联机制。因为shuffle的机制，所以本身的IO开销，shuffle也是大数据场景中的一个瓶颈。
Boradcast Joinspark boradcast join 将右边进行boradcast 把数据分发 到driver、executor上进行缓存，，将join机制变成map join，这种机制受到内存资源的限制。 这种机制要求广播的数据量不能太大，spark 默认的参数 sql.autoBroadcastJoinThreshold=10M。
综合以上，可看到分布式join可有6中机制。
| shuffle join | NLJ、SMJ、HJ |
| broadcast join | NLJ、SMJ、HJ |
spark本身支持5种的关联，分别是
| 等值关联 | Brocast HJ、Suffle SMJ、Suffle HJ、 |
| 不等值关联 | Boracast NLJ、Shuffle NLJ |
