linux 安装部署spark：
https://www.cnblogs.com/tijun/p/7561718.html
https://blog.csdn.net/heartsdance/article/details/119751588
https://blog.csdn.net/weixin_43854358/article/details/90666193
（这篇不错，有case）
如何排查启动失败问题：
https://blog.csdn.net/C_time/article/details/100023332
测试圆周率：
bin/spark-submit --master spark://10.153.110.18:8077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.7.jar 100 （100可自行设定）
pyspark SparkConf详解：
https://blog.csdn.net/weixin_40161254/article/details/87916880
b9b上的spark位置：
/home/disk1/software/spark-2.4.7-bin-hadoop2.7/
b9b 上的 spark日志位置：
/home/disk1/software/spark-2.4.7-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-yq01-aip-aip07a73b9b.yq01.baidu.com.out
b9b的spark web-ui（可查看任务日志等）：
http://yq01-aip-aip07a73b9b.yq01.baidu.com:8078/
本地提交spark任务排查
https://www.freesion.com/article/7551171582/
spark统计：
rdd统计：
https://blog.csdn.net/liangzelei/article/details/80573015
dataframe 统计：
https://cloud.tencent.com/developer/article/1031061
https://blog.csdn.net/suzyu12345/article/details/79673557
https://zhuanlan.zhihu.com/p/237637848
内存不足的解决方案：WARN MemoryStore: Not enough space to cache rdd
https://www.playpi.org/2020012201.html
关于是否会删除缓存：
https://www.jianshu.com/p/761fa2ee868e
pyspark 提交 ：spark-sumbit
www.jianshu.com/p/df0a189ff28b
https://www.cnblogs.com/piperck/p/10121097.html
https://zhuanlan.zhihu.com/p/101740397
Pyspark 支持yarn模式：
https://www.cnblogs.com/yanshw/p/12083488.html
关于在python脚本中设置master（不想用submit脚本，这个是做不到滴）：
https://stackoverflow.com/questions/31327275/pyspark-on-yarn-cluster-mode
pyspark支持yarn-cluster：
spark-submit具体参数含义：
https://www.malaoshi.top/show_1IXnhwPEDg0.html
https://xujiyou.work/%E5%A4%A7%E6%95%B0%E6%8D%AE/Spark/spark-submit%E8%AF%A6%E8%A7%A3.html
b9b上面排查spark的python任务错误的日志（注意std_out）：
/home/work/hadoop-2.10.0/logs/userlogs/application_1629377733083_3679/
or
/home/work/hadoop-2.10.0/logs/userlogs
spark自定义分区：
https://blog.csdn.net/weixin_45102492/article/details/104726795
spark actions 、 transfoamations等：
https://spark.apache.org/docs/latest/rdd-programming-guide.html#actions
厂内b9b机器跑bmr：
./bin/run-example --master yarn --deploy-mode cluster --files /home/aicu-tob/software/baidu_spark_emr/output_afs_agent/conf/yarn-site.xml SparkPi
./bin/run-example --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.3.2-baidu.jar
yarn-site.xml 配置：
https://ifeve.com/spark-yarn-run-spark/
https://blog.csdn.net/Jerry_991/article/details/85042305
工单链接：
https://console.cloud.baidu-int.com/ticket/new/?productId=217
厂内的spark的各种问题（这煞笔公司什么时候倒闭算了）：
http://wiki.baidu.com/pages/viewpage.action?pageId=324590584#id-6.%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98-9.%E7%94%A8hadoopfs-ls%E6%9F%A5%E7%9C%8Bafs%EF%BC%8C%E6%8A%A5ls:NoFileSystemforscheme:afs%E7%9A%84%E9%94%99%E8%AF%AF
Spark_env教程：
https://blog.csdn.net/u010199356/article/details/89056304
spark join教程：
https://www.sohu.com/a/427258627_315839
https://zhuanlan.zhihu.com/p/317226768
