前置知识:
1,java基础
2,scala基础
3,英语基础
0基础分析Spark源码系列博客(
主要是是写给自己看的,其次是给大家分享思路)
在查看Spark源码的过程中,会发现几乎每个方法上都有注解。
了解这些注解,对于理解Spark的设计思想非常有帮助。
为什么看一个开源项目要先看注解部分?
1,注解体现设计思想
2,注解是基础,不理解设计思想就没法全面而宏观地思考整个项目。
3,我认为不掌握基础,就直接去看主要代码逻辑部分是搞大跃进,且违反认知规律,会导致后续的瓶颈。
4,不懂注解,都不知道方法是干啥用的,信息获取不完全,到时候一个一个查多难受,还有可能遗漏信息,不如先把基础打好,后续一路畅通。
好,首先把代码下载下来:
https://github.com/apache/spark
我这里用社区版的开源版IDEA:
打开后,随便Ctrl + 鼠标左键跳转到对应的注解类:
Spark源码里的注解有三种:
1.Java自带的注解
2.Spark发明的注解
3.Scala自带的注解:
https://www.scala-lang.org/api/current/scala/annotation/Annotation.html
首先把上面这个链接的注解相关的内容都搞懂,scala的注解就差不多了
关于Java自带注解,如果有不清楚的地方,需要搞懂下列前置知识:
https://docs.oracle.com/javase/tutorial/java/annotations/index.html
打开这个链接,把下面这些全看完:
掌握上述前置知识,就可以继续往下看了,后面如果java注解内容忘记了也可以重新返回去再学一遍。
接下来是Spark自带的注解:
分为三个部分:
先看pom.xml,没找到有用信息。
再看README
这句话结合Spark-tag这个命名,再结合注解内容,可以了解到,spark这些注解几乎都是用来当标签用的。
然后就是把整个Spark-tags部分理解并记忆下来,这部分你得花点时间完成,因为可能会遇到缺少前置知识的情况。
注解会用之后,就可以开始下一阶段了,下一篇见。
具体内容需要你自己去看,授人以鱼不如授人以渔,这一套spark的注解体系学会了之后,可以直接用在你的scala项目的开发中,可以用来做版本控制,方便的很。



