Binlogイベントをフィルタリングする

このドキュメントでは、DMを使用して継続的な増分データレプリケーションを実行するときにbinlogイベントをフィルタリングする方法について説明します。詳細なレプリケーション手順については、シナリオごとに次のドキュメントを参照してください。

• 小さなデータセットのMySQLをTiDBに移行する
• 大規模なデータセットのMySQLをTiDBに移行する
• 小さなデータセットのMySQLシャードをTiDBに移行およびマージする
• 大規模なデータセットのMySQLシャードをTiDBに移行およびマージする

Configuration / コンフィグレーション

binlogイベントフィルターを使用するには、以下に示すように、DMのタスク構成ファイルにfilterを追加します。

filters:
  rule-1:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table"]
    sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
    action: Ignore

• schema-pattern ：スキーマまたはtable-patternに一致するフィルター

• events ：binlogイベントをフィルタリングします。サポートされているイベントを以下の表に示します。

  イベント	カテゴリー	説明
  全て		すべてのイベントが含まれます
  すべてのdml		すべてのDMLイベントが含まれます
  すべてのddl		すべてのDDLイベントが含まれます
  なし		イベントは含まれていません
  なしddl		すべてのDDLイベントを除外します
  なしdml		すべてのDMLイベントを除外します
  入れる	DML	DMLイベントを挿入します
  アップデート	DML	DMLイベントを更新する
  消去	DML	DMLイベントを削除する
  データベースを作成する	DDL	データベースイベントの作成
  データベースを削除します	DDL	データベースイベントの削除
  テーブルを作成する	DDL	テーブルイベントの作成
  インデックスを作成する	DDL	インデックスイベントの作成
  ドロップテーブル	DDL	ドロップテーブルイベント
  テーブルを切り捨てます	DDL	テーブルイベントの切り捨て
  テーブルの名前を変更	DDL	テーブルイベントの名前を変更
  ドロップインデックス	DDL	ドロップインデックスイベント
  他の机	DDL	テーブルイベントの変更

• sql-pattern ：指定されたDDLSQLステートメントをフィルタリングします。マッチングルールは、正規表現の使用をサポートしています。

• action ： DoまたはIgnore

  • Do ：許可リスト。次の2つの条件のいずれかを満たす場合、binlogイベントが複製されます。

    • イベントはルール設定と一致します。
    • sql-patternが指定されており、イベントのSQLステートメントがいずれかのsql-patternオプションと一致します。

  • Ignore ：ブロックリスト。次の2つの条件のいずれかを満たす場合、binlogイベントは除外されます。

    • イベントはルール設定と一致します。
    • sql-patternが指定されており、イベントのSQLステートメントがいずれかのsql-patternオプションと一致します。

  DoとIgnoreの両方が構成されている場合、 IgnoreはDoよりも優先されます。つまり、 IgnoreとDoの両方の条件を満たすイベントが除外されます。

アプリケーションシナリオ

このセクションでは、binlogイベントフィルターのアプリケーションシナリオについて説明します。

すべてのシャーディング削除操作を除外します

すべての削除操作を除外するには、以下に示すようにfilter-table-ruleとfilter-schema-ruleを構成します。

filters:
  filter-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["truncate table", "drop table", "delete"]
    action: Ignore
  filter-schema-rule:
    schema-pattern: "test_*"
    events: ["drop database"]
    action: Ignore

シャーディングされたスキーマとテーブルのDML操作のみを移行します

DMLステートメントのみを複製するには、以下に示すように2つのBinlog event filter ruleを構成します。

filters:
  do-table-rule:
    schema-pattern: "test_*"
    table-pattern: "t_*"
    events: ["create table", "all dml"]
    action: Do
  do-schema-rule:
    schema-pattern: "test_*"
    events: ["create database"]
    action: Do

TiDBでサポートされていないSQLステートメントを除外する

TiDBでサポートされていないSQLステートメントを除外するには、以下に示すようにfilter-procedure-ruleを構成します。

filters:
  filter-procedure-rule:
    schema-pattern: "*"
    sql-pattern: [".*\\s+DROP\\s+PROCEDURE", ".*\\s+CREATE\\s+PROCEDURE", "ALTER\\s+TABLE[\\s\\S]*ADD\\s+PARTITION", "ALTER\\s+TABLE[\\s\\S]*DROP\\s+PARTITION"]
    action: Ignore

も参照してください

SQL式を使用してBinlogイベントをフィルタリングする