栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

带你分析Spark源码,0基础也能看懂(1)

带你分析Spark源码,0基础也能看懂(1)

前置知识:
1,java基础
2,scala基础
3,英语基础

0基础分析Spark源码系列博客(主要是是写给自己看的,其次是给大家分享思路

在查看Spark源码的过程中,会发现几乎每个方法上都有注解。

了解这些注解,对于理解Spark的设计思想非常有帮助。

为什么看一个开源项目要先看注解部分?
1,注解体现设计思想
2,注解是基础,不理解设计思想就没法全面而宏观地思考整个项目。
3,我认为不掌握基础,就直接去看主要代码逻辑部分是搞大跃进,且违反认知规律,会导致后续的瓶颈。
4,不懂注解,都不知道方法是干啥用的,信息获取不完全,到时候一个一个查多难受,还有可能遗漏信息,不如先把基础打好,后续一路畅通。

好,首先把代码下载下来:
https://github.com/apache/spark

我这里用社区版的开源版IDEA:
打开后,随便Ctrl + 鼠标左键跳转到对应的注解类:

Spark源码里的注解有三种:
1.Java自带的注解

2.Spark发明的注解

3.Scala自带的注解:

https://www.scala-lang.org/api/current/scala/annotation/Annotation.html

首先把上面这个链接的注解相关的内容都搞懂,scala的注解就差不多了

关于Java自带注解,如果有不清楚的地方,需要搞懂下列前置知识:
https://docs.oracle.com/javase/tutorial/java/annotations/index.html
打开这个链接,把下面这些全看完:

掌握上述前置知识,就可以继续往下看了,后面如果java注解内容忘记了也可以重新返回去再学一遍。

接下来是Spark自带的注解:

分为三个部分:

先看pom.xml,没找到有用信息。
再看README

这句话结合Spark-tag这个命名,再结合注解内容,可以了解到,spark这些注解几乎都是用来当标签用的。

然后就是把整个Spark-tags部分理解并记忆下来,这部分你得花点时间完成,因为可能会遇到缺少前置知识的情况。

注解会用之后,就可以开始下一阶段了,下一篇见。

具体内容需要你自己去看,授人以鱼不如授人以渔,这一套spark的注解体系学会了之后,可以直接用在你的scala项目的开发中,可以用来做版本控制,方便的很。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/711698.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号