栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

从Spark源码分析如何使用antlr4解析SQL(一)

从Spark源码分析如何使用antlr4解析SQL(一)

明确antlr4做了什么工作 1.有两个语法文件:SqlbaseLexer.g4和SqlbaseParser.g4这两个文件在Spark源码的目录是:

spark/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser

Spark SQL最新的源码地址:https://github.com/apache/spark/tree/master/sql​

2.两个语法文件的作用:Lexer用来规定所有的关键字;Parser用来规定SQL语句的具体解析顺序和规则。​

antlr4默认会生成一个递归访问器类,也可以自定义递归访问器。

Spark使用的是自定义递归访问器:AstBuilder.scala。

为什么是递归?
因为存储结构是抽象语法树结构。

什么是抽象语法树?
抽象语法树就是将Parser.g4规定的语法,生成一个使用深度优先算法递归的树形结构。

类似于语言转换中,将语法规则存储起来,用来生成其他代码,比如SQL转java代码、c语言代码等。

抽象语法树存储的是目标语言的方法(function),根据目标语言不同,生成对应语言的语法的function。​

下一节《Spark源码追踪》,关注公众号,点点在看。 如有问题,请留言。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/779805.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号