TiDB データ移行Binlogイベントフィルター

TiDB Data Migration (DM) は、エラーをフィルタリングしてブロックし、レポートしたり、一部のスキーマまたはテーブルの指定されたタイプのbinlogイベントのみを受信したりするためのbinlogイベントフィルター機能を提供します。たとえば、 TRUNCATE TABLEつまたはINSERTのイベントをすべてフィルターで除外できます。 binlogイベントフィルター機能は、ブロックリストと許可リスト機能よりも粒度が細かいです。

binlogイベントフィルターを構成する

タスク構成ファイルに次の構成を追加します。

filters:
  rule-1:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table"]
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

DM v2.0.2 以降、ソース構成ファイルでbinlogイベントフィルターを構成できます。詳細はアップストリームデータベースコンフィグレーションファイルを参照してください。

スキーマとテーブルの一致にワイルドカードを使用する場合は、次の点に注意してください。

schema-patternとtable-pattern 、 * 、 ? 、および[]を含むワイルドカードのみをサポートします。ワイルドカード一致では*シンボルは 1 つだけ使用でき、最後になければなりません。たとえば、 table-pattern: "t_*"では、 "t_*" t_で始まるすべてのテーブルを示します。詳細はワイルドカードマッチング参照してください。
sql-patternは正規表現のみをサポートします。

パラメータの説明

schema-pattern / table-pattern : schema-pattern / table-patternに一致するアップストリーム MySQL または MariaDB インスタンステーブルのbinlogイベントまたは DDL SQL ステートメントは、以下のルールによってフィルターされます。

events :binlogイベント配列。次の表から 1 つ以上のEventのみを選択できます。

イベント	タイプ	説明
`all`		以下のすべてのイベントが含まれます
`all dml`		以下のすべての DML イベントが含まれます
`all ddl`		以下のすべての DDL イベントが含まれます
`incompatible ddl changes`		すべての互換性のない DDL イベントが含まれます。「互換性のない DDL」とは、データ損失を引き起こす可能性のある DDL 操作を意味します。
`none`		以下のイベントは含まれません
`none ddl`		以下の DDL イベントは含まれません
`none dml`		以下の DML イベントは含まれません
`insert`	DML	`INSERT` DML イベント
`update`	DML	`UPDATE` DML イベント
`delete`	DML	`DELETE` DML イベント
`create database`	DDL	`CREATE DATABASE` DDL イベント
`drop database`	互換性のない DDL	`DROP DATABASE` DDL イベント
`create table`	DDL	`CREATE TABLE` DDL イベント
`create index`	DDL	`CREATE INDEX` DDL イベント
`drop table`	互換性のない DDL	`DROP TABLE` DDL イベント
`truncate table`	互換性のない DDL	`TRUNCATE TABLE` DDL イベント
`rename table`	互換性のない DDL	`RENAME TABLE` DDL イベント
`drop index`	互換性のない DDL	`DROP INDEX` DDL イベント
`alter table`	DDL	`ALTER TABLE` DDL イベント
`value range decrease`	互換性のない DDL	列フィールドの値の範囲を減らす DDL ステートメント ( `VARCHAR(20)`を`VARCHAR(10)`に変更する`ALTER TABLE MODIFY COLUMN`ステートメントなど)
`precision decrease`	互換性のない DDL	列フィールドの精度を下げる DDL ステートメント ( `Decimal(10, 2)`を`Decimal(10, 1)`に変更する`ALTER TABLE MODIFY COLUMN`ステートメントなど)
`modify column`	互換性のない DDL	列フィールドの型を変更する DDL ステートメント ( `INT`を`VARCHAR`に変更する`ALTER TABLE MODIFY COLUMN`ステートメントなど)
`rename column`	互換性のない DDL	列の名前を変更する DDL ステートメント ( `ALTER TABLE RENAME COLUMN`ステートメントなど)
`rename index`	互換性のない DDL	インデックス名を変更する DDL ステートメント ( `ALTER TABLE RENAME INDEX`ステートメントなど)
`drop column`	互換性のない DDL	`ALTER TABLE DROP COLUMN`ステートメントなど、テーブルから列を削除する DDL ステートメント
`drop index`	互換性のない DDL	`ALTER TABLE DROP INDEX`ステートメントなど、テーブル内のインデックスを削除する DDL ステートメント
`truncate table partition`	互換性のない DDL	指定されたパーティションからすべてのデータを削除する DDL ステートメント ( `ALTER TABLE TRUNCATE PARTITION`ステートメントなど)
`drop primary key`	互換性のない DDL	主キーを削除する DDL ステートメント ( `ALTER TABLE DROP PRIMARY KEY`ステートメントなど)
`drop unique key`	互換性のない DDL	一意のキーを削除する DDL ステートメント ( `ALTER TABLE DROP UNIQUE KEY`ステートメントなど)
`modify default value`	互換性のない DDL	列のデフォルト値を変更する DDL ステートメント ( `ALTER TABLE CHANGE DEFAULT`ステートメントなど)
`modify constraint`	互換性のない DDL	制約を変更する DDL ステートメント ( `ALTER TABLE ADD CONSTRAINT`ステートメントなど)
`modify columns order`	互換性のない DDL	列の順序を変更する DDL ステートメント ( `ALTER TABLE CHANGE AFTER`ステートメントなど)
`modify charset`	互換性のない DDL	`ALTER TABLE MODIFY CHARSET`ステートメントなど、列の文字セットを変更する DDL ステートメント
`modify collation`	互換性のない DDL	列の照合順序を変更する DDL ステートメント ( `ALTER TABLE MODIFY COLLATE`ステートメントなど)
`remove auto increment`	互換性のない DDL	自動増分キーを削除する DDL ステートメント
`modify storage engine`	互換性のない DDL	テーブルstorageエンジンを変更する DDL ステートメント ( `ALTER TABLE ENGINE = MyISAM`ステートメントなど)
`reorganize table partition`	互換性のない DDL	`ALTER TABLE REORGANIZE PARTITION`ステートメントなど、テーブル内のパーティションを再編成する DDL ステートメント
`rebuild table partition`	互換性のない DDL	テーブルパーティションを再構築する DDL ステートメント ( `ALTER TABLE REBUILD PARTITION`ステートメントなど)
`exchange table partition`	互換性のない DDL	2 つのテーブル間のパーティションを交換する DDL ステートメント ( `ALTER TABLE EXCHANGE PARTITION`ステートメントなど)
`coalesce table partition`	互換性のない DDL	テーブル内のパーティションの数を減らす DDL ステートメント ( `ALTER COALESCE PARTITION`ステートメントなど)

sql-pattern : 指定された DDL SQL ステートメントをフィルタリングするために使用されます。一致ルールでは正規表現の使用がサポートされています。たとえば、 "^DROP\\s+PROCEDURE" 。
action : 文字列 ( Do / Ignore / Error )。ルールに基づき、以下のように判断します。
- Do : 許可リスト。binlogは、次の 2 つの条件のいずれかでフィルタリングされます。
  - イベントのタイプはルールのリストeventにありません。
  - イベントの SQL ステートメントはルールのsql-patternと一致できません。
- Ignore : ブロックリスト。binlogは、次の 2 つの条件のいずれかでフィルタリングされます。
  - イベントのタイプはルールのリストeventにあります。
  - イベントの SQL ステートメントは、ルールのsql-patternと照合できます。
- Error : エラーリスト。 binlog は、次の 2 つの条件のいずれかでエラーを報告します。
  - イベントのタイプはルールのリストeventにあります。
  - イベントの SQL ステートメントは、ルールのsql-patternと照合できます。
- 複数のルールが同じテーブルに一致する場合、ルールは順番に適用されます。ブロックリストはエラーリストよりも優先度が高く、エラーリストは許可リストよりも優先度が高くなります。例えば：
  - IgnoreとError両方のルールが同じテーブルに適用される場合、 Ignoreルールが有効になります。
  - ErrorとDo両方のルールが同じテーブルに適用される場合、 Errorルールが有効になります。

使用例

このセクションでは、シャーディング (シャードされたスキーマとテーブル) のシナリオでの使用例を示します。

すべてのシャーディング削除操作をフィルタリングする

すべての削除操作をフィルターで除外するには、次の 2 つのフィルタールールを構成します。

filter-table-rule test_*に一致するすべてのテーブルのTRUNCATE TABLE 、 DROP TABLE 、およびDELETE STATEMENT操作を除外します。 t_*パターン。
filter-schema-rule test_*パターンに一致するすべてのスキーマのDROP DATABASE操作を除外します。

filters:
  filter-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table", "delete"]
    action: Ignore
  filter-schema-rule:
    schema-pattern: "test_*"
    events: ["drop database"]
    action: Ignore

シャーディング DML ステートメントのみを移行する

シャーディング DML ステートメントのみを移行するには、次の 2 つのフィルタリングルールを構成します。

do-table-rule test_*に一致するすべてのテーブルのCREATE TABLE 、 INSERT 、 UPDATE 、およびDELETEステートメントのみを移行します。 t_*パターン。
do-schema-ruleパターンtest_*に一致するすべてのスキーマのステートメントCREATE DATABASEのみを移行します。

注記：
CREATE DATABASE/TABLEステートメントが移行される理由は、DML ステートメントはスキーマとテーブルの作成後にのみ移行できるためです。

filters:
  do-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["create table", "all dml"]
    action: Do
  do-schema-rule:
    schema-pattern: "test_*"
    events: ["create database"]
    action: Do

TiDB がサポートしていない SQL ステートメントをフィルタリングして除外します。

TiDB がサポートしていないPROCEDUREステートメントをフィルタリングして除外するには、次のfilter-procedure-ruleを構成します。

filters:
  filter-procedure-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

filter-procedure-rule test_*に一致するすべてのテーブルの^CREATE\\s+PROCEDUREおよび^DROP\\s+PROCEDUREステートメントを除外します。 t_*パターン。

TiDB パーサーがサポートしていない SQL ステートメントをフィルターで除外します。

TiDB パーサーがサポートしていない SQL ステートメントの場合、DM はそれらを解析してschema / tableの情報を取得できません。したがって、グローバルフィルタリングルールschema-pattern: "*"を使用する必要があります。

注記：
移行する必要があるデータがフィルターで除外されないようにするには、グローバルフィルタールールをできるだけ厳密に構成する必要があります。

TiDB パーサー (一部のバージョン) がサポートしていないPARTITIONステートメントをフィルターで除外するには、次のフィルタールールを構成します。

filters:
  filter-partition-rule:
    schema-pattern: "*"
    sql-pattern: ["ALTER\\s+TABLE[\\s\\S]*ADD\\s+PARTITION", "ALTER\\s+TABLE[\\s\\S]*DROP\\s+PARTITION"]
    action: Ignore

一部の DDL ステートメントのエラーを報告する

DM が TiDB に DDL ステートメントをレプリケートする前に、一部のアップストリーム操作によって生成された DDL ステートメントのエラーをブロックして報告する必要がある場合は、次の設定を使用できます。

filters:
  filter-procedure-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "truncate table partition"]
    action: Error

TiDB データ移行Binlogイベント フィルター