1. 简介

和Antlr生成的SQL有很大不同的是,Druid SQL Parser性能非常好,可以用于生产环境直接对SQL进行分析处理。

1.2. Druid SQL Parser的使用场景

  • MySql SQL全量统计
  • Hive/ SQL执行安全审计
  • 分库分表SQL解析引擎
  • 数据库引擎的SQL Parser

2. 各种语法支持

Druid的sql parser是目前支持各种数据语法最完备的SQL Parser。目前对各种数据库的支持如下:

druid还缺省支持sql-92标准的语法,所以也部分支持其他数据库的sql语法。

3. 性能

Druid的SQL Parser是手工编写,性能非常好,目标就是在生产环境运行时使用的SQL Parser,性能比antlr、javacc之类工具生成的Parser快10倍甚至100倍以上。

MySqlPerfTest.java

4. Druid SQL Parser的代码结构

Druid SQL Parser分三个模块:

  • Parser
  • AST

4.1. parser

parser是将输入文本转换为ast(抽象语法树),parser有包括两个部分,Parser和Lexer,其中Lexer实现词法分析,Parser实现语法分析。

AST是Abstract Syntax Tree的缩写,也就是抽象语法树。AST是parser输出的结果。下面是获得抽象语法树的一个例子:

  1. final String dbType = JdbcConstants.MYSQL; // 可以是ORACLE、POSTGRESQL、SQLSERVER、ODPS等
  2. String sql = "select * from t";
  3. List<SQLStatement> stmtList = SQLUtils.parseStatements(sql, dbType);
  • Druid SQL AST介绍

4.3. Visitor

我们可以实现不同的Visitor来满足不同的需求,Druid内置提供了如下Visitor:

  • OutputVisitor用来把AST输出为字符串
  • WallVisitor 来分析SQL语意来防御SQL注入攻击
  • ParameterizedOutputVisitor用来合并未参数化的SQL进行统计
  • 用来对SQL表达式求值
  • ExportParameterVisitor用来提取SQL中的变量参数
  • SQL格式化 Druid内置了基于语义的SQL格式化功能

每种方言的Visitor都有一个缺省的VisitorAdapter,使得编写自定义的Visitor更方便。

4.5. 方言

SQL-92、SQL-99等都是标准SQL,mysql/oracle/pg/sqlserver/odps等都是方言,也就是dialect。parser/ast/visitor都需要针对不同的方言进行特别处理。

5. SchemaRepository

Druid SQL Parser内置了一个SchemaRepository,在内存中缓存SQL Schema信息,用于SQL语义解析中的ColumnResolve等操作。https://github.com/alibaba/druid/wiki/SQL_Schema_Repository

6. SQL翻译