変更フィードログフィルター

TiCDCは、テーブルとイベントによるデータのフィルタリングをサポートしています。このドキュメントでは、2種類のフィルターの使い方を紹介します。

テーブルフィルター

テーブルフィルターは、次の構成を指定して、特定のデータベースとテーブルを保持または除外できる機能です。

[filter]
# Filter rules
rules = ['*.*', '!test.*']

一般的なフィルタールール:

• rules = ['*.*']
  • すべてのテーブルを複製します（システムテーブルは含みません）
• rules = ['test1.*']
  • test1データベース内のすべてのテーブルを複製する
• rules = ['*.*', '!scm1.tbl2']
  • scm1.tbl2テーブルを除くすべてのテーブルを複製します
• rules = ['scm1.tbl2', 'scm1.tbl3']
  • テーブルscm1.tbl2とscm1.tbl3のみを複製する
• rules = ['scm1.tidb_*']
  • scm1データベース内の、名前がtidb_で始まるすべてのテーブルを複製します。

詳細についてはテーブルフィルタ構文を参照してください。

イベントフィルタールール

TiCDC v6.2.0以降では、イベントフィルターがサポートされています。イベントフィルタールールを設定することで、指定した条件を満たすDMLイベントとDDLイベントを除外できます。

以下はイベントフィルタルールの例です。

[filter]
# The event filter rules must be under the `[filter]` configuration. You can configure multiple event filters at the same time.

[[filter.event-filters]]
matcher = ["test.worker"] # matcher is an allow list, which means this rule only applies to the worker table in the test database.
ignore-event = ["insert"] # Ignore insert events.
ignore-sql = ["^drop", "add column"] # Ignore DDLs that start with "drop" or contain "add column".
ignore-delete-value-expr = "name = 'john'" # Ignore delete DMLs that contain the condition "name = 'john'".
ignore-insert-value-expr = "id >= 100" # Ignore insert DMLs that contain the condition "id >= 100".
ignore-update-old-value-expr = "age < 18 or name = 'lili'" # Ignore update DMLs whose old value contains "age < 18" or "name = 'lili'".
ignore-update-new-value-expr = "gender = 'male' and age > 18" # Ignore update DMLs whose new value contains "gender = 'male'" and "age > 18".

設定パラメータの説明:

• matcher : このイベントフィルタルールが適用されるデータベースとテーブル。構文はテーブルフィルターと同じです。

  ノート

  matcherはデータベース名と一致するため、設定時には特に注意が必要です。例えば、 event-filters設定が以下の場合：

  [filter]
  [[filter.event-filters]]
  matcher = ["test.t1"]
  ignore-sql = ["^drop"]
  

  ignore-sql = ["^drop"]は、DROP TABLE test.t1を除外するだけでなくDROP DATABASE testも除外します。これは、matcherにデータベース名testが含まれているためです。

  データベース全体ではなく、指定されたテーブルのみをフィルター処理する場合は、 ignore-sql値を["drop table"]に変更します。

• ignore-event : 無視するイベントの種類。このパラメータは文字列の配列を受け入れます。複数のイベントの種類を設定できます。現在、以下のイベントの種類がサポートされています。

  イベント	タイプ	エイリアス	説明
  all dml			すべてのDMLイベントに一致します
  all ddl			すべてのDDLイベントに一致します
  insert	DML		insert DML イベントに一致
  update	DML		update DML イベントに一致
  delete	DML		delete DML イベントに一致
  create schema	DDL	create database	create databaseイベントに一致
  drop schema	DDL	drop database	drop databaseイベントに一致
  create table	DDL		create tableイベントに一致
  drop table	DDL		drop tableイベントに一致
  rename table	DDL		rename tableイベントに一致
  truncate table	DDL		truncate tableイベントに一致
  alter table	DDL		alter table、create index、drop index のすべての句を含む alter table イベントに一致します
  add table partition	DDL		add table partitionイベントに一致
  drop table partition	DDL		drop table partitionイベントに一致
  truncate table partition	DDL		truncate table partitionイベントに一致
  create view	DDL		create viewイベントに一致
  drop view	DDL		drop viewイベントに一致
  modify schema charset and collate	DDL		modify schema charset and collateイベントに一致
  recover table	DDL		recover tableイベントに一致
  rebase auto id	DDL		rebase auto idイベントに一致
  modify table comment	DDL		modify table commentイベントに一致
  modify table charset and collate	DDL		modify table charset and collateイベントに一致
  exchange table partition	DDL		exchange table partitionイベントに一致
  reorganize table partition	DDL		reorganize table partitionイベントに一致
  alter table partitioning	DDL		alter table partitioningイベントに一致
  remove table partitioning	DDL		remove table partitioningイベントに一致
  add column	DDL		add columnイベントに一致
  drop column	DDL		drop columnイベントに一致
  modify column	DDL		modify columnイベントに一致
  set default value	DDL		set default valueイベントに一致
  add primary key	DDL		add primary keyイベントに一致
  drop primary key	DDL		drop primary keyイベントに一致
  rename index	DDL		rename indexイベントに一致
  alter index visibility	DDL		alter index visibilityイベントに一致
  alter ttl info	DDL		alter ttl infoイベントに一致
  alter ttl remove	DDL		テーブルのすべてのTTL属性を削除するDDLイベントに一致します
  multi schema change	DDL		同じDDL文内でテーブルの複数の属性を変更するDDLイベントに一致します。

  ノート

  TiDBのDDL文は、 ALTER TABLE t MODIFY COLUMN a INT, ADD COLUMN b INT, DROP COLUMN c;のように単一テーブルの複数の属性を同時に変更することをサポートしています。この操作はMultiSchemaChangeとして定義されています。このタイプのDDLを除外したい場合は、 ignore-eventで"multi schema change"を設定する必要があります。

• ignore-sql : フィルタリングするDDL文の正規表現。このパラメータは文字列の配列を受け付け、複数の正規表現を設定できます。この設定はDDLイベントにのみ適用されます。

• ignore-delete-value-expr : このパラメータは、指定された値を持つDELETE種類の DML イベントをフィルタリングするために使用される、デフォルトの SQL モードに従う SQL 式を受け入れます。

• ignore-insert-value-expr : このパラメータは、指定された値を持つINSERT種類の DML イベントをフィルタリングするために使用される、デフォルトの SQL モードに従う SQL 式を受け入れます。

• ignore-update-old-value-expr : このパラメータは、デフォルトの SQL モードに従う SQL 式を受け入れ、指定された古い値を持つUPDATE種類の DML イベントを除外するために使用されます。

• ignore-update-new-value-expr : このパラメータは、デフォルトの SQL モードに従う SQL 式を受け入れ、指定された新しい値を持つUPDATE DML イベントを除外するために使用されます。