java.lang.StackOverflowError

-Xss15M

java.lang.OutOfMemoryError

-Xmx6g -Xms6g

GC overhead limit exceeded : Spark

 优化代码

优化前

val userMovies = userRDD.cartesian(movieRDD)

 优化后

val userMovies = (userRDD.cartesian(movieRDD)).persist()

 总结

善用RNN.persist()函数去将计算后的rdd数据保存到内存中，避免多次计算消耗内存

RNN.cache()函数与persist()函数相近，其中前者调用后者