如何通过 SQL 表达式过滤 DML

• 从小数据量 MySQL 迁移数据到 TiDB
• 从小数据量分库分表 MySQL 合并迁移数据到 TiDB

在进行增量数据迁移时，可以通过功能过滤某些类型的 binlog event，例如不向下游迁移 事件以达到归档、审计等目的。但是 binlog event filter 无法以更细粒度判断某一行的 DELETE 事件是否要被过滤。

为了解决上述问题，从 v2.0.5 起，DM 支持在增量数据同步阶段使用binlog value filter过滤迁移数据。DM 支持的 ROW 格式的 binlog 中，binlog event 带有所有列的值。你可以基于这些值配置 SQL 表达式。如果该表达式对于某条行变更的计算结果是 TRUE，DM 就不会向下游迁移该条行变更。

与如何过滤 binlog 事件类似，表达式过滤需要在数据迁移任务配置文件里配置，详见下面配置样例。完整的配置及意义，可以参考 ：

在上游数据源增量插入以下数据：

随后在下游查询 tbl 表，可见只有 的值为单数的行迁移到了下游：

• schema：要匹配的上游数据库库名，不支持通配符匹配或正则匹配。
• table: 要匹配的上游表名，不支持通配符匹配或正则匹配。
• insert-value-expr：配置一个表达式，对 INSERT 类型的 binlog event (WRITE_ROWS_EVENT) 带有的值生效。不能与 update-old-value-expr、update-new-value-expr、delete-value-expr 出现在一个配置项中。
• update-old-value-expr：配置一个表达式，对 UPDATE 类型的 binlog event (UPDATE_ROWS_EVENT) 更新对应的旧值生效。不能与 insert-value-expr、delete-value-expr 出现在一个配置项中。
• ：配置一个表达式，对 DELETE 类型的 binlog event (DELETE_ROWS_EVENT) 带有的值生效。不能与 insert-value-expr、update-old-value-expr、update-new-value-expr 出现在一个配置项中。

TIMESTAMP 类型的默认时区是任务配置文件中指定的时区，默认值是下游时区。可以使用 c_timestamp = '2021-01-01 12:34:56.5678+08:00' 的方式显式指定时区。

配置项 expression-filter 下可以定义多条过滤规则，上游数据源在其 配置项中引用需要的规则使其生效。当有多条规则生效时，匹配到任意一条规则即会导致某个行变更被过滤。

注意：