spark 常用整理

1，spark 初识 1.1，spark 与 hadoop

1.2，核心模块

sparkCore，sparkSql，sparkStreaming

2，wordCount（demo）

 3，spark local 模式 3.1，spark-shell

sc.textFile("../data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

3.2，监控页面（端口：4040）

http://172.16.60.196:4040/jobs/

3.3，提交命令

./spark-submit --master local[2] --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-3.0.0.jar 10

4，standalone 模式 4.1，独立部署模式、主从模式 4.2，分发脚本

xsync
https://www.cnblogs.com/smandar/p/13898073.html

xcall
https://blog.csdn.net/eraining/article/details/108470060

4.3，提交命令参数

4.4，配置历史服务 4.5，配置高可用（HA） 5，yarn 模式 5.1，yarn环境 5.2，提交命令

 

6，部署模式对比

端口：

 

参考链接：

尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili制作不易，大家记得点个关注，一键三连呀【点赞、投币、收藏】感谢支持~众所期待，隆重推出！大数据领域中杀手级的应用计算框架：Spark视频教程。本套视频教程基于Scala 2.12版本，对Spark 3.0版本的核心模块进行了详尽的源码级讲解，授课图文并茂，资料详实丰富，带你领略不一样的技术风景线。课程内容涉及方方面面，函数式编程，你熟悉吗？认知心理学，你知道吗？工程化代码框架，你了解吗？在这套https://www.bilibili.com/video/BV11A411L7CK?p=1