SparkStreaming中动态广播变量的使用【Java版本】

当前技术博客产生背景：

       当前问题产生已经在2年前发生，当前博客只是为了记录当时的情况。

       业务需求：SparkStreaming实时传输数据需要实时与MySql中数据进行比对，所以需要每分钟更新MySql数据数据，实现广播变量，将MySql数据更新后，实现动态变量广播。（之前方案将MySql的连接查询静态方法写在Executer端调用，如果每一个Executer的SparkStreaming的Filter数据过滤时候都在过滤时候调用MySql查询连接，当分布式计算一次调用一批数据量到达十万，那么当前Filter 就会查询十万次数据库，会造成数据库压力，连接创建，数据查询，并且比对，会造成数据实时比对延迟，同时会造成数据存储延迟。）

        故而，使用动态广播变量，动态广播变量可以实现每分钟广播一次，广播在Driver端，实现分布式集群共享。