Atitit.sql ast 表达式 语法树 语法 解析原理与实现 java php c#.net js python

Atitit.sql ast 表达式 语法树 语法 解析原理与实现 java php c#.net js python

1.1. Sql语法树 ast 如下图锁死1

2. SQL语句解析的思路和过程3

2.1. lexer作为一个工具,完成了对SQL字符串的切割,将语句转化成一个tokens数组。3

2.2. Parser完成了SQL解析的后序部分:使用一个lexer对象作为工具,切出tokens,然后解析语义,绑定相关的系统接口。3

2.3. 关系数据和XML数据库下其抽象语法树分别为: 如图 5

3. 参考6

1.1. Sql语法树 ast 如下图锁死

2. SQL语句解析的思路和过程

2.1. lexer作为一个工具,完成了对SQL字符串的切割,将语句转化成一个tokens数组。

2.2. Parser完成了SQL解析的后序部分:使用一个lexer对象作为工具,切出tokens,然后解析语义,绑定相关的系统接口。

作者:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 汉字名:艾龙,  EMAIL:[email protected]

转载请注明来源: http://www.cnblogs.com/attilax/

在这里先要回顾下simpledb的支持的SQL的语法,这个影响了它在解析字符串时使用的方法。

由代码和上面的语法树看出来,simpledb在解析SQL语句的时候,严格按照语法中支持的类型,“卡住”关键字,从中解析出字段列表fieldlist,表名列表tablelist,以及谓词列表predicates,然后将这些查询中实际用到的数据,包装成相应的对象,SQL语句的解析就初步完成

作为SQL语句解析的入口,有如下的updateCMD方法,根据SQL语句首个token的不同,进行了分支:

public object updateCmd()

{

if (lex.matchKeyword("insert"))

return insert();

else if (lex.matchKeyword("delete"))

return delete();

else if (lex.matchKeyword("update"))

return modify();

else

return create();

}

补充一点,注意下上面的query()的代码,lex用match*()来检测下一个token是否满足匹配条件,用eat*()来讲满足条件的token处理掉:

public void eatDelim(char d);

public string eatId();

public int eatIntConstant()

public void eatKeyword(string w)

public string eatStringConstant()

数据相关的,均有返回值,返回处理后的结果;数据无关的,没有返回值,实际只是利用nextToken移动position指针。

关于tablelist、fieldlist的构建,使用了递归的方式实现:

private List<string> fieldList()

{

List<string> l = new List<string>();

l.Add(field());

if (lex.matchDelim(‘,‘))

{

lex.eatDelim(‘,‘);

l.AddRange(fieldList());

}

return l;

}

谓词 predicates也是用了递归的形式:

private Predicate predicate()

{

Predicate pred = new Predicate(term());

if (lex.matchKeyword("and"))

{

lex.eatKeyword("and");

pred.conjoinWith(predicate());

}

return pred;

}

略有不同的是,在谓词连接的时候,使用了Predicate类的conjoinwith方法,实际上,predicate对象下,维护了一个条件列表terms,这个方法就是把谓词中的各个term转存到一起。

本文和前一节只是扼要地描述了SQL语句解析的思路和过程,可以看到解析的结果就是生成了各种查询data,这些data会传递给query模块,由query模块利用这些得到的data,完成数据的查询。

2.3. 关系数据和XML数据库下其抽象语法树分别为: 如图

对于查询语句select name from Name where person_id =1和for $i in doc(“Name.xml”) where $i/person/id=1 return $i/person/name其在关系数据和XML数据库下其抽象语法树分别为:

 (图1:select name from Name where person_id=1 的抽象语法树)

 (图2:for $i in doc(“Name.xml”) where $i/person/id=1 return $i/person/name的抽象语法树)

3. 参考

基于AST抽象语法树的SQL注入检测 (1) - 百科教程网_经验分享平台[上学吧经验教程频道].html

再读simpledb 之 SQL语句解析(2) - 郝玉琨 - 博客园.html

从Oracle到SQL Server-SQL智能翻译器-Oracle-第七城市.html

Query Lanaguage On NoSQL..html

SQLite教程 - 查询处理及优化 - SQLite - 数据库技术 - 9SSSD.COM.html

SQLite教程 - 浅析Lemon - SQLite - 数据库技术 - 9SSSD.COM.html

Hive SQL 编译过程详解 - OPEN 开发经验库.html (imp

时间: 2024-10-26 10:01:08

Atitit.sql ast 表达式 语法树 语法 解析原理与实现 java php c#.net js python的相关文章

atitit.复合变量,也就是类似$$a的变量的原理与实现&#160;java&#160;c#.net&#160;php&#160;js

atitit.复合变量,也就是类似$$a的变量的原理与实现 java c#.net php js 1.1. 复合变量,也就是类似$$a的变量,它会进行两次的解释. 1 1.2. 数据库里面的复合变量1 1.3. 为什么只有php实现了符合变量,因为他的美元符号2 1.4. 符合变量的本质其实就是指针了2 2. 使用java实现符合变量2 2.1. invoke2 2.2. 实现2 3. 参考4 1.1. 复合变量,也就是类似$$a的变量,它会进行两次的解释. 这给PHP带来了非常灵活的动态特性.

[转帖]AST抽象语法树——最基础的javascript重点知识,99%的人根本不了解

AST抽象语法树——最基础的javascript重点知识,99%的人根本不了解 https://segmentfault.com/a/1190000016231512 太长没看完.. javascriptvue-clicommonjswebpackast 阅读约 27 分钟 抽象语法树(AST),是一个非常基础而重要的知识点,但国内的文档却几乎一片空白. 本文将带大家从底层了解AST,并且通过发布一个小型前端工具,来带大家了解AST的强大功能 Javascript就像一台精妙运作的机器,我们可以

AST抽象语法树——最基础的javascript重点知识,99%的人根本不了解

AST抽象语法树——最基础的javascript重点知识,99%的人根本不了解 javascriptvue-clicommonjswebpackast 阅读约 27 分钟 抽象语法树(AST),是一个非常基础而重要的知识点,但国内的文档却几乎一片空白. 本文将带大家从底层了解AST,并且通过发布一个小型前端工具,来带大家了解AST的强大功能 Javascript就像一台精妙运作的机器,我们可以用它来完成一切天马行空的构思. 我们对javascript生态了如指掌,却常忽视javascript本身

Atitit. 构造ast 语法树的总结attilax oao

Atitit. 构造ast 语法树的总结attilax oao 1. 能那更加有意义的名字来命名ast节点... 1 2. 如何命名表达式名称..使用实际对象名称,而不是操作符号表达式更好 1 2.1. 参考在的ast view 一类的实现... 1 3. ast view (自是个160k的jar ) 2 3.1. 多条语句ast结构 2 3.2. 变量定义 int b,c; 的ast结构 2 3.3. 方法调用meth1(a=1,b=2,c=3);  的ast结构 2 3.4. 注解的ast

atitit..sql update语法的词法分析,与语法ast构建

atitit..sql update语法的词法分析,与语法ast构建 1. 要使用sql udpate语法的dsl ,需要写个解释器.. 1 2. 词法分析的实现 1 2.1. 扫描器的实现 SqlUpExpTokener 1 2.2. 等号操作符的转态 EqxState 2 2.3. 单引号的转态 SingleQuoeState 3 2.4. 逗号操作的转态 CommaState 5 3. 构建语法树ast 6 4. 最终输出ast结构 8 1. 要使用sql udpate语法的dsl ,需要

[WebKit内核] JavaScript引擎深度解析--基础篇(一)字节码生成及语法树的构建详情分析

[WebKit内核] JavaScript引擎深度解析--基础篇(一)字节码生成及语法树的构建详情分析 标签: webkit内核JavaScriptCore 2015-03-26 23:26 2285人阅读 评论(1) 收藏 举报  分类: Webkit(34)  JavascriptCore/JIT(3)  版权声明:本文为博主原创文章,未经博主允许不得转载. 看到HorkeyChen写的文章<[WebKit] JavaScriptCore解析--基础篇(三)从脚本代码到JIT编译的代码实现>

[WebKit内核] JavaScriptCore深度解析--基础篇(一)字节码生成及语法树的构建

看到HorkeyChen写的文章<[WebKit] JavaScriptCore解析--基础篇(三)从脚本代码到JIT编译的代码实现>,写的很好,深受启发.想补充一些Horkey没有写到的细节比如字节码是如何生成的等等,为此成文. JSC对JavaScript的处理,其实与Webkit对CSS的处理许多地方是类似的,它这么几个部分: (1)词法分析->出来词语(Token): (2)语法分析->出来抽象语法树(AST:Abstract Syntax Tree): (3)遍历抽象语法

同事总结的hivesql优化Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的M

同事总结的hive sql 优化 Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具. 使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别, 所以需要去掉原有关系型数据库下开发的一些固有思维. 基本原则: 1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段 select ... from A join B on A.key = B.key where A.userid>10 and B

Linux设备树语法详解

Linux内核从3.x开始引入设备树的概念,用于实现驱动代码与设备信息相分离.在设备树出现以前,所有关于设备的具体信息都要写在驱动里,一旦外围设备变化,驱动代码就要重写.引入了设备树之后,驱动代码只负责处理驱动的逻辑,而关于设备的具体信息存放到设备树文件中,这样,如果只是硬件接口信息的变化而没有驱动逻辑的变化,驱动开发者只需要修改设备树文件信息,不需要改写驱动代码.比如在ARM Linux内,一个.dts(device tree source)文件对应一个ARM的machine,一般放置在内核的