TiDB データ移行Binlogイベントフィルター

TiDB Data Migration (DM) は、binlogイベントフィルター機能を提供し、一部のスキーマまたはテーブルに対して、指定された種類のbinlogイベントを除外または受信します。たとえば、 TRUNCATE TABLEつまたはINSERTのイベントすべてを除外できます。 binlogイベントフィルター機能は、ブロックリストと許可リスト機能よりもきめ細かくなっています。

binlogイベントフィルターを構成する

タスク構成ファイルで、次の構成を追加します。

filters:
  rule-1:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table"]
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

DM v2.0.2 以降では、ソース構成ファイルでbinlogイベントフィルターを構成できます。詳細については、アップストリームデータベースコンフィグレーションファイルを参照してください。

単純なシナリオでは、スキーマとテーブルの一致にワイルドカードを使用することをお勧めします。ただし、次のバージョンの違いに注意してください。

DM v1.0.5 以降のバージョンの場合、 binlogイベントフィルターはワイルドカードマッチサポートしますが、ワイルドカード式で指定できるのは*だけであり、最後に*を配置する必要があります。
v1.0.5 より前のバージョンの DM の場合、 binlogイベントフィルターはワイルドカードをサポートしますが、 [...]と[!...]式はサポートしません。

パラメータの説明

schema-pattern / table-pattern : schema-pattern / table-patternに一致する上流の MySQL または MariaDB インスタンステーブルのbinlogイベントまたは DDL SQL ステートメントは、以下のルールによってフィルター処理されます。

events :binlogイベント配列。次の表から 1 つ以上のEventのみを選択できます。

イベント	タイプ	説明
`all`		以下のすべてのイベントが含まれます
`all dml`		以下のすべての DML イベントが含まれます
`all ddl`		以下のすべての DDL イベントが含まれます
`none`		以下のイベントは含まれません
`none ddl`		以下の DDL イベントは含まれません
`none dml`		以下の DML イベントは含まれません
`insert`	DML	`INSERT` DML イベント
`update`	DML	`UPDATE` DML イベント
`delete`	DML	`DELETE` DML イベント
`create database`	DDL	`CREATE DATABASE` DDL イベント
`drop database`	DDL	`DROP DATABASE` DDL イベント
`create table`	DDL	`CREATE TABLE` DDL イベント
`create index`	DDL	`CREATE INDEX` DDL イベント
`drop table`	DDL	`DROP TABLE` DDL イベント
`truncate table`	DDL	`TRUNCATE TABLE` DDL イベント
`rename table`	DDL	`RENAME TABLE` DDL イベント
`drop index`	DDL	`DROP INDEX` DDL イベント
`alter table`	DDL	`ALTER TABLE` DDL イベント

sql-pattern : 指定された DDL SQL ステートメントをフィルタリングするために使用されます。一致ルールは、正規表現の使用をサポートしています。たとえば、 "^DROP\\s+PROCEDURE"です。
action : 文字列 ( Do / Ignore )。以下のルールに基づいて、フィルタリングするかどうかを判断します。 2 つのルールのいずれかが満たされる場合、binlogはフィルタリングされます。それ以外の場合、binlogはフィルタリングされません。
- Do : 許可リスト。 binlog は、次の 2 つの条件のいずれかでフィルター処理されます。
  - イベントのタイプがルールのeventリストにありません。
  - イベントの SQL ステートメントは、ルールのsql-patternつと一致しません。
- Ignore : ブロックリスト。 binlog は、次の 2 つの条件のいずれかでフィルター処理されます。
  - イベントのタイプは、ルールのeventリストにあります。
  - イベントの SQL ステートメントは、ルールのsql-patternに一致できます。
- 複数のルールが同じテーブルに一致する場合、ルールは順番に適用されます。ブロックリストは、許可リストよりも優先度が高くなります。たとえば、 IgnoreとDoの両方のルールが同じテーブルに適用される場合、 Ignoreルールが有効になります。

使用例

このセクションでは、シャーディングのシナリオ (シャードされたスキーマとテーブル) での使用例を示します。

すべてのシャーディング削除操作をフィルタリングする

すべての削除操作を除外するには、次の 2 つのフィルタリングルールを構成します。

filter-table-rule test_*に一致するすべてのテーブルのTRUNCATE TABLE DROP TABLEおよびDELETE STATEMENT操作を除外します。 t_*パターン。
filter-schema-rule test_*パターンに一致するすべてのスキーマのDROP DATABASE操作を除外します。

filters:
  filter-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table", "delete"]
    action: Ignore
  filter-schema-rule:
    schema-pattern: "test_*"
    events: ["drop database"]
    action: Ignore

シャーディング DML ステートメントのみを移行する

シャーディング DML ステートメントのみを移行するには、次の 2 つのフィルタリングルールを構成します。

do-table-rule test_*に一致するすべてのテーブルのCREATE TABLE 、 INSERT 、 UPDATE 、およびDELETEステートメントのみを移行します。 t_*パターン。
do-schema-rule test_*パターンに一致するすべてのスキーマのCREATE DATABASEステートメントのみを移行します。

ノート：
CREATE DATABASE/TABLEステートメントが移行される理由は、スキーマとテーブルが作成された後にのみ DML ステートメントを移行できるためです。

filters:
  do-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["create table", "all dml"]
    action: Do
  do-schema-rule:
    schema-pattern: "test_*"
    events: ["create database"]
    action: Do

TiDB がサポートしていない SQL ステートメントを除外する

TiDB がサポートしていないPROCEDUREステートメントを除外するには、次のfilter-procedure-rule構成します。

filters:
  filter-procedure-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

filter-procedure-rule test_*に一致するすべてのテーブルの^CREATE\\s+PROCEDUREおよび^DROP\\s+PROCEDUREステートメントを除外します。 t_*パターン。

TiDB パーサーがサポートしていない SQL ステートメントを除外する

TiDB パーサーtableサポートしていない SQL ステートメントの場合、DM はそれらを解析してschema情報を取得できません。したがって、グローバルフィルタリングルールschema-pattern: "*"を使用する必要があります。

ノート：
移行する必要のあるデータを除外しないようにするには、グローバルフィルタリングルールをできるだけ厳密に構成する必要があります。

TiDB パーサー (一部のバージョン) がサポートしていないPARTITIONステートメントを除外するには、次のフィルター規則を構成します。

filters:
  filter-partition-rule:
    schema-pattern: "*"
    sql-pattern: ["ALTER\\s+TABLE[\\s\\S]*ADD\\s+PARTITION", "ALTER\\s+TABLE[\\s\\S]*DROP\\s+PARTITION"]
    action: Ignore

TiDB データ移行Binlogイベント フィルター

binlogイベント フィルターを構成する