spark的参数调优 1.shuffle调优参数 --spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点，默认是48M，可以调为96M spark.shuffle.compress 是否支持压缩，默认是支持压缩的，将该值保持为true spark.shuffle.file.buffer 在shuffle-write阶段buffer的大小，默认是32kb，可以调为48kb，或者64kb spark.shuffle.io.maxRetries 这是spark失败重试次数，默认是三次，可以设置大一点 spark.shuffle.io.retryWait 这是两次失败之间的等待次数，默认是5秒，可以设置为30秒 spark.shuffle.sort.bypassMergeThreshold 是否开启bupassMerge的阈值 默认是true， 如果不是调为true spark.shuffle.memoryFraction 这是executor运行占内存的大小，默认是0.2，可以设置为0.3，九十占用内存的30% 2.spark的内存调优 spark.sql.inMemoryColumnarStorage.compressed 如果设置为true，spark会根据文件选择一种压缩方式进行压缩 3.其他调优参数 spark.sql.files.maxPartitionBytes 默认是128M，获取到分区数据的最大字节数 spark.sql.files.openCostInBytes 默认是4M，表示小于4M的小文件会合并到一个分区 spark.sql.broadcastTimeout 广播等待超时时长 spark.sql.autoBroadcastJoinThreshold 默认是10M，最大广播变量表大小 spark.sql.shuffle.partitions 设置shuffle分区数，默认是200 spark的优化机制 1.避免读取重复的RDD，需要数据一样，便不要再次读取 2.如果有多个行动算子用到同一个RDD的数据，就将这个RDD持久化，这样可以直接通过血缘追踪到持久化的文件，之前的步骤也就不用在执行 3.尽量避免使用产生shuffle的算子 4.要使用产生shuffle的算子，就尽量使用预聚合的算子，比如说reduceByKey代替groupByKey 5.使用广播变量，优化数据结构 6.使用kyro的序列化机制 7.过滤掉少量的倾斜key 8.提高shuffle的并行度 9.两阶段聚合(局部聚合+全局聚合) 10.采用预聚合方案，将reduce-join变成map-join 11.采用随机前缀，分散倾斜key 可以将以上多种方法组合
