如何过滤 binlog 事件

本文档介绍使用 DM 持续增量数据同步时，如何过滤 binlog 事件。具体迁移操作可参考已有数据迁移场景：

• 从小数据量 MySQL 迁移数据到 TiDB
• 从大数据量 MySQL 迁移数据到 TiDB
• 从小数据量分库分表 MySQL 合并迁移数据到 TiDB
• 从大数据量分库分表 MySQL 合并迁移数据到 TiDB

配置方式

配置 DM 的任务配置文件时，增加如下filter，具体配置示例如下图：

filters:
  rule-1:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table"]
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

• schema-pattern/table-pattern：对匹配上的 schema 或 table 进行过滤
• events：binlog events，支持的 Event 如下表所示:

• sql-pattern：匹配指定的 DDL SQL 语句，支持正则表达式匹配。
• action：可取值 Do 或 Ignore。
  • Do：白名单。binlog event 如果满足下面两个条件之一将会被同步：
    • 符合 events 条件；
    • sql-pattern 不为空，且对应的 SQL 可以匹配上 sql-pattern 中任意一项。
  • Ignore：黑名单。如果满足下面两个条件之一就会被过滤掉：
    • 符合 events 条件；
    • sql-pattern 不为空，且对应的 SQL 可以匹配上 sql-pattern 中任意一项

注意：如果同时配置 Do/Ignore，则 Ignore 优先级更高。binlog event 不匹配白名单或者匹配黑名单都将被直接过滤。

使用场景举例

过滤分库分表的所有删除操作

设置 filter-table-rule 和 filter-schema-rule 两个过滤规则，具体如下：

filters:
  filter-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table", "delete"]
    action: Ignore
  filter-schema-rule:
    schema-pattern: "test_*"
    events: ["drop database"]
    action: Ignore

只迁移分库分表的 DML 操作

设置两个 Binlog event filter rule：

filters:
  do-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["create table", "all dml"]
    action: Do
  do-schema-rule:
    schema-pattern: "test_*"
    events: ["create database"]
    action: Do

过滤 TiDB 不支持的 SQL 语句

filters:
  filter-procedure-rule:
    schema-pattern: "*"
    sql-pattern: [".*\\s+DROP\\s+PROCEDURE", ".*\\s+CREATE\\s+PROCEDURE", "ALTER\\s+TABLE[\\s\\S]*ADD\\s+PARTITION", "ALTER\\s+TABLE[\\s\\S]*DROP\\s+PARTITION"]
    action: Ignore

探索更多

• 如何通过 SQL 表达式过滤 binlog