KaiwuDBkaiwudb logo

博客专区

SQL 解析与执行流程

2024-01-09

一、前言






在先前的技术博客中,我们已经详细介绍过数据库的 parser 模块与执行流程:用户输入的 SQL 语句通过词法解析器生成 token,再通过语法分析器生成抽象语法树(AST),经过 AST 生成对应的 planNode,最后执行 planNode。本期博客我们将以新增语法为例,重点介绍一条 SQL 语句需要历经的流程,以及如何自定义 SQL 语句和功能。






二、新增 SQL 语法




KaiwuDB 是通过 goyacc 解析 sql.y 中的代码生成 AST,而我们想要新增一个语法,则需要在 sql.y 中添加对应的关键字以及对应的语法解析规则,最后在代码中添加对应的语法节点以及功能实现。我们以创建时序数据库的语法 CREATE TS DATABASE  xxx 为例,讲解如何添加新 SQL 语句,以及该语句的执行过程。


1. 定义新的关键字

词法分析器是通过一个个关键字解析整条语句,所以第一步我们需要将整条语句涉及到的所有关键字定义完毕。


搜索 pkg/sql/parser/sql.y 文件,在文件中找到 %token(这个代表着定义的关键字),我们可以在这里看到已经有 CREATE 和 DATABASE 关键字,所以需要新增一个 TS 关键字。

Go
......
%token <str> TS
......


加好关键字后,我们还需定义其是保留关键字或是非保留关键字,非保留关键字可以作为标识符使用并在使用时需要加上双引号。所以,我们需要将 TS 加到非保留关键字里中。

Go
unreserved_keyword:
......
| TS
......


添加完毕后,词法分析器即可解析整条语句的所有关键字,接下来我们需要定义一个新的语法规则,使得语法解析器可以处理这条新的语句。


2. 添加新的语法规则

新的语法首先要给它定义一个类型。在 sql.y 中,一条 SQL 语句的类型都是 %type <tree.Statement> 。

Go
......
%type <tree.Statement> create_ts_database_stmt
......


然后将该语法放到语法 case 列表中,这条语法属于 create_ddl_stmt 的一部分,我们将其放在 create_ddl_stmt 下方即可。

Go
create_ddl_stmt:
......
| create_ts_database_stmt  // EXTEND WITH HELP: CREATE TS_DATABASE
......


接下来需要为该语法添加对应的语法规则和帮助信息:

Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
  CREATE TS DATABASE database_name{
    ......
  }
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE


到这里,整个 parser 部分就可以识别这条新的语法并提示相应信息,但现在还没有添加具体的语法操作,所以整个语法还不能完全执行。


3. 添加执行语法操作


在解析器可以成功解析语法后,我们需要添加对应的语义,来让整条 SQL 语句执行。而这一步就是生成一个抽象语法树(AST),将语句信息从 parser 阶段传到执行阶段。


在上文中我们将 create_ts_database_stmt 添加为 tree.Statement 类型,所以我们还需要实现 tree.Statement 类型的接口,其后还需要实现以下几个方法:

  • fmt.Stringer

  • NodeFormatter

  • StatementType()

  • StatementTag()

  • StatOp()

  • StatTargetType()


为此,所以首先要定义一个结构体,可以作为整条语句解析的返回值,用以实现上述的几种方法。对于我们想要添加的语句,可以复用原来的 CreateDatabase 结构体并在其中添加一个字段 EngineType 用来代表是否为时序数据库。该结构体已经实现了以上几种方法,但我们添加了新的语法,所以要在 Format 方法中将新的语法 Format 方式添加进去。


接下来我们将 parser 部分补全,让它返回一个对应的 CreateDatabase 节点。

Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
  CREATE TS DATABASE database_name{
    $$.val = &tree.CreateDatabase{
      Name: tree.Name($4),
      EngineType: 1,
    }
  }
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE


至此,整条语句已经可以成功识别并执行。但由于我们是复用已有的 CreateDatabase 结构,所以执行流程还需要对应的修改。如果是新增一个新的结构体,我们需要在 plan.go 中新加一个 planNode,用于生成执行计划。

Go
var _ planNode = &createDatabaseNode{}


planNode 也有以下几个接口需要实现:

  • startExec(params runParams)

  • Next(params runParams)

  • Values()

  • Close(ctx context.Context)


在 buildOpaque 新增一个 case,用于执行时识别 AST 结构,生成对应的 planNode。

Go
......
switch n := stmt.(type) {
  case *tree.CreateDatabase:
    plan, err = p.CreateDatabase(ctx, n)
  ......


目前我们已有对应的 createDatabaseNode ,所以无需再新增。而在 CreateDatabase 中需要我们将 AST 转成 planNode,并需要做出语义上的检查与限制。


最后一步就是要定义如何执行整条语句,在 startExec 方法中,通过构建好的 planNode 去实现我们所需的语法功能。

Go
func (n *createDatabaseNode) startExec(params runParams) error {
    ......
}


至此,新增的该语法功能已实现。

免费体验 KaiwuDB 全新功能

立即体验

关于我们
联系我们

KaiwuDB B站

KaiwuDB
B站

KaiwuDB 微信公众号

KaiwuDB
微信公众号

© 上海沄熹科技有限公司 Shanghai Yunxi Technology Co., Ltd.    沪ICP备2023002175号-1
400-624-5688-7
1V1 方案咨询
marketing@kaiwudb.org.cn