📣新登場!TiDB Cloud BYOC、TiDB Cloud Filesystem、PostgreSQL-compatible TiDB Cloud Starter がパブリックプレビュー中。このページは自動翻訳されたものです。原文はこちらからご覧ください。

チェンジフィード DDL レプリケーション



このドキュメントでは、TiCDC における DDL レプリケーションのルールと特殊なケースについて説明します。

DDL許可リスト

現在、TiCDC は許可リストを使用して DDL文をレプリケートするかどうかを決定します。許可リストに含まれる DDL文のみが下流にレプリケートされます。許可リストに含まれない DDL文はレプリケートされません。

さらに、TiCDCは、テーブルに有効なインデックスがあるかどうか、および設定項目force-replicateがtrueに設定されているかどうかに基づいて、DDL文をダウンストリームに複製するかどうかを決定します。force-replicate=trueの場合、レプリケーションタスクは強制的に有効なインデックスのないテーブルを複製する試みます。

以下は、TiCDC でサポートされている DDL文の許可リストです。表内の略語は以下のとおりです。

  • Y: この状態ではダウンストリームへのレプリケーションがサポートされます。
  • N: この状態では、ダウンストリームへのレプリケーションはサポートされません。
DDL有効なインデックスが存在します有効なインデックスが存在せず、 force-replicateはfalse (デフォルト) です有効なインデックスが存在せず、 force-replicateがtrueに設定されている
CREATE DATABASEYYY
DROP DATABASEYYY
ALTER DATABASE CHARACTER SETYYY
CREATE INDEXYYY
ADD INDEXYYY
DROP INDEXYNY
ADD PRIMARY KEYYYY
DROP PRIMARY KEYYNY
CREATE TABLEYNY
DROP TABLEYNY
ADD COLUMNYNY
DROP COLUMNYNY
TRUNCATE TABLEYNY
MODIFY COLUMNYNY
RENAME TABLEYNY
ALTER COLUMN DEFAULT VALUEYNY
ALTER TABLE COMMENTYNY
RENAME INDEXYNY
ADD PARTITIONYNY
DROP PARTITIONYNY
TRUNCATE PARTITIONYNY
CREATE VIEWYNY
DROP VIEWYNY
ALTER TABLE CHARACTER SETYNY
RECOVER TABLEYNY
REBASE AUTO IDYNY
ALTER TABLE INDEX VISIBILITYYNY
EXCHANGE PARTITIONYNY
REORGANIZE PARTITIONYNY
ALTER TABLE TTLYNY
ALTER TABLE REMOVE TTLYNY

DDLレプリケーションの考慮事項

ADD INDEXおよびCREATE INDEX DDL の非同期実行

TiCDC は通常 DDL文を順番にレプリケートしますが、ダウンストリームがTiDBの場合、インデックスの作成および追加のための DDL 操作を非同期的に実行します。つまり、 ADD INDEXとCREATE INDEX DDLをダウンストリームTiDBクラスターにレプリケートして実行した後、TiCDCはDDL実行の完了を待たずに直ちに戻ります。これにより、変更フィードレプリケーションのレイテンシーへの影響を最小限に抑え、後続のDML実行がブロックされることを回避できます。

ダウンストリームでADD INDEXまたはCREATE INDEX DDL 操作が実行されている間に、TiCDC が同じテーブルに対して次の DDL 操作を実行すると、この DDL 操作がqueueing状態で長時間ブロックされる可能性があります。これにより、TiCDC はこの DDL 操作を繰り返し実行することになり、再試行に時間がかかりすぎると、レプリケーションタスクが失敗する可能性があります。v8.4.0 以降では、TiCDC がダウンストリームデータベースに対してSUPER権限を持っている場合、定期的にADMIN SHOW DDL JOBSを実行して、非同期で実行された DDL タスクのステータスを確認します。TiCDC は、インデックス作成が完了するまで待ってからレプリケーションを続行します。これによりレプリケーションのレイテンシーが増加する可能性がありますが、レプリケーションタスクの失敗を回避できます。

テーブル名の変更に関するDDLレプリケーションの考慮事項

TiCDC は、名前変更前後のデータベース名とテーブル名、およびフィルタールールに基づいて、RENAME TABLE DDL をレプリケートするかどうかを判断します。以下の例では、テーブルがレプリケーション要件を満たしており、追加の DDL イベントフィルタールールが設定されていないことを前提としています。

DDL文で単一のテーブルの名前を変更する

DDL文で単一のテーブル名を変更する場合、TiCDCは古いテーブル名がフィルタールールに一致する場合にのみ、そのDDL文を複製します。以下に例を示します。

changefeed の設定ファイルが次のようになっていると仮定します。

[filter] rules = ['test.t*']

TiCDC はこのタイプの DDL を次のように処理します。

DDL複製するかどうか取り扱い理由
RENAME TABLE test.t1 TO test.t2複製するtest.t1はフィルタールールに一致します
RENAME TABLE test.t1 TO ignore.t1複製するtest.t1はフィルタールールに一致します
RENAME TABLE ignore.t1 TO ignore.t2無視するignore.t1はフィルタールールに一致しません
RENAME TABLE test.n1 TO test.t1エラーを報告してレプリケーションを停止する古いテーブル名test.n1はフィルタールールに一致しませんが、新しいテーブル名test.t1はフィルタールールに一致します。この操作は無効です。この場合、エラーメッセージを参照して対処してください。
RENAME TABLE ignore.t1 TO test.t1エラーを報告してレプリケーションを停止する上記と同じ理由です。

これらのルールは、クラシックアーキテクチャと新しいアーキテクチャの両方に適用されます。古いテーブル名がフィルタールールに一致し、新しいテーブル名が一致しない場合、TiCDC は RENAME TABLE DDL をレプリケートし、その後そのテーブルに対する後続のデータ変更のレプリケーションを停止します。古いテーブル名が一致せず、新しいテーブル名が一致する場合、TiCDC は CDC:ErrSyncRenameTableFailed エラーを報告します。これは、名前変更だけをレプリケートしても、そのテーブルについて以前にレプリケートされていなかったデータをバックフィルできないためです。

DDL文で複数のテーブルの名前を変更する

DDL文で複数のテーブルの名前を変更する場合、新しいアーキテクチャでは、単一テーブルの名前変更ルールに従って各名前変更ステップを評価します。

  • 古いテーブル名がフィルタールールに一致する場合、TiCDC は対応する名前変更ステップをレプリケートします。
  • 古いテーブル名と新しいテーブル名のどちらも一致しない場合、TiCDC はそのステップを無視します。
  • 古いテーブル名が一致せず、新しいテーブル名が一致する場合、changefeed はエラーを報告し、レプリケーションは停止します。

さらに、クラシックアーキテクチャでは、レプリケートされる各名前変更ステップのターゲットデータベースがレプリケーション範囲内にある必要があります。また、テーブル名を入れ替える RENAME TABLE 文はサポートしていません。

changefeed の設定ファイルが次のようになっていると仮定します。

[filter] rules = ['test.t*']

TiCDC はこのタイプの DDL を次のように処理します。

DDLクラシックアーキテクチャ新しいアーキテクチャ理由
RENAME TABLE test.t1 TO test.t2, test.t3 TO test.t4複製する複製する古いデータベース名とテーブル名、および新しいデータベース名とテーブル名がいずれもフィルタールールに一致します
RENAME TABLE test.t1 TO test.ignore1, test.t3 TO test.ignore2複製する複製する両方のアーキテクチャで、古いテーブル名はフィルタールールに一致します。クラシックアーキテクチャでは、さらにターゲットデータベースがレプリケーション範囲内にある必要があります。名前変更をレプリケートした後、TiCDC は名前変更されたテーブルに対する後続のデータ変更のレプリケーションを停止します
RENAME TABLE test.t1 TO ignore.t1, test.t2 TO test.t22エラーを報告する複製するターゲットデータベース ignore はレプリケーション範囲内にありません。新しいアーキテクチャで名前変更をレプリケートした後、TiCDC は ignore.t1 のレプリケーションを停止し、test.t22 のレプリケーションは継続します
RENAME TABLE test.t1 TO test.t2, ignore.t1 TO ignore.t2test.t1 の名前変更ステップのみをレプリケートするtest.t1 の名前変更ステップのみをレプリケートするignore.t1 と ignore.t2 はどちらもフィルタールールに一致しません
RENAME TABLE test.t1 TO test.t2, ignore.t1 TO test.t3エラーを報告するエラーを報告するignore.t1 は一致しませんが、test.t3 はフィルタールールに一致します
RENAME TABLE test.t1 TO test.t4, test.t3 TO test.t1, test.t4 TO test.t3エラーを報告する複製する2 つのテーブル名は一時テーブル名 test.t4 を介して入れ替えられており、新しいアーキテクチャでは各名前変更ステップの順序が保持されます

新しいアーキテクチャでは、TiCDC は複数テーブルの名前変更に関係するすべてのテーブルのレプリケーション進行状況を調整しますが、ダウンストリーム SQL は複数の単一テーブル RENAME TABLE 文として再構築されます。MySQL sink はセミコロンで区切られた複数のサブステートメントを実行し、Kafka sink と Pulsar sink はそれらを単一テーブルの DDL メッセージに分割します。そのため、ダウンストリームでの実行では、単一のアップストリーム複数テーブル名前変更文のアトミック性は保証されません。一時テーブル名を使用してテーブル名を入れ替える場合は、相互に依存するすべてのステップを保持し、フィルタールールによってそのいずれかが除外されないようにしてください。

DDL文の考慮事項

アップストリームでクロスデータベースDDL文(例: CREATE TABLE db1.t1 LIKE t2 )を実行する場合、関連するすべてのデータベース名をDDL文(例: CREATE TABLE db1.t1 LIKE db2.t2 )で明示的に指定することをお勧めします。そうしないと、データベース名情報が不足しているため、ダウンストリームでクロスデータベースDDL文が正しく実行されない可能性があります。

DDL SQL テキストの処理

TiCDC は DDL SQL を解析、整形、または再構築します。そのため、ダウンストリームにレプリケートされる SQL テキストが、元のアップストリーム文と完全に一致するとは限りません。クラシックアーキテクチャと新しいアーキテクチャはどちらも、キーワードの大文字小文字、識別子の引用符、スペース、および一部の同義構文を正規化し、互換性のために TiDB 固有の構文も処理します。DROP TABLE、DROP VIEW、EXCHANGE PARTITION などの DDL は、どちらのアーキテクチャでも SQL 再構築ロジックを備えています。

新しいアーキテクチャでは、DDL SQL が次のように変更される場合もあります。特に記載された MySQL sink の書き換えを除き、これらの変更は DDL をサポートするメッセージプロトコルの SQL フィールドにも影響します。正確な出力形式は TiCDC のバージョンによって異なる場合があります。

DDL またはシナリオ新しいアーキテクチャでの SQL テキスト処理適用条件
単一テーブルの名前変更完全なデータベース名とテーブル名を使用して、一律に RENAME TABLE db.old_table TO db.new_table として再構築されるALTER TABLE ... RENAME AS ...、ALTER TABLE ... RENAME TO ...、通常の RENAME TABLE ... TO ... を含みます。テーブルルーティングが有効でない場合も書き換えられます
複数テーブルの名前変更元の順序で複数の単一テーブル RENAME TABLE 文に再構築され、各サブステートメントは ; で終わるMySQL sink は結合された SQL を受け取り、Kafka や Pulsar など一度に 1 テーブルずつ出力する経路では複数のメッセージに分割されます
テーブルのバッチ作成分割された各 CREATE TABLE 文は ; で終わるアップストリームのバッチテーブル作成では複数テーブルを含む 1 つの DDL イベントが生成され、ダウンストリームでは単一テーブルイベントとして出力されます
CREATE TABLE ... LIKE ...LIKE が参照するテーブルに不足しているデータベース修飾子を追加する元の SQL で参照先テーブルのデータベース名が修飾されておらず、DDL メタデータが参照先テーブルとターゲットテーブルが異なるデータベースにあることを示している場合
CREATE VIEW および CREATE OR REPLACE VIEWTiDB に保存されたビュークエリと DDL 時点のデータベースおよびテーブルのメタデータを使用して SQL を再構築し、テーブル参照やカラム参照にデータベース修飾子を追加したり、識別子の大文字小文字を正規化したり、カラムエイリアスを追加したりする場合があるビュー定義内の名前を解析する必要がある場合。テーブルルーティングを有効にする必要はありません
名前なしのセカンダリインデックス1 つの ALTER TABLE 内の複数の変更操作を含め、ALTER TABLE ... ADD INDEX/KEY/... 内の名前なしインデックスに対してアップストリームで生成されたインデックス名を追加するMySQL sink が MySQL または TiDB で DDL を実行する前にのみ処理され、MQ メッセージ内の SQL には適用されません
名前にバッククォートを含むデータベース、テーブル、またはパーティションSQL を再構築する際、名前内のバッククォートを 2 つのバッククォートとしてエスケープする名前変更、DROP TABLE、DROP VIEW、EXCHANGE PARTITION など、SQL の再構築が必要なシナリオを含みます
テーブルルーティングルーティングルールに従ってデータベース名、テーブル名、および関連参照を書き換え、SQL を再生成するtarget-schema または target-table が設定されている場合。詳細は テーブルルーティングの DDL の動作 を参照してください

たとえば、現在のデータベースが db で、テーブルルーティングが有効でなく、次の名前変更イベントがフィルターされないと仮定します。単一テーブルの名前変更に対する出力は次のとおりです。文末のセミコロンは表では省略しています。

アップストリーム SQLクラシックアーキテクチャの出力新しいアーキテクチャの出力
ALTER TABLE a RENAME AS bALTER TABLE `a` RENAME AS `b` RENAME TABLE `db`.`a` TO `db`.`b`
ALTER TABLE a RENAME TO bALTER TABLE `a` RENAME AS `b` RENAME TABLE `db`.`a` TO `db`.`b`
RENAME TABLE a TO bRENAME TABLE `a` TO `b` RENAME TABLE `db`.`a` TO `db`.`b`

RENAME TABLE a TO b, c TO d について、単一テーブルイベントとして出力される場合、クラシックアーキテクチャでの最初の SQL は RENAME TABLE `db`.`a` TO `db`.`b` であり、新しいアーキテクチャでは RENAME TABLE `db`.`a` TO `db`.`b`; です。末尾のセミコロンは、新しいアーキテクチャでの複数テーブル DDL 分割に由来します。

ダウンストリームコンシューマーを開発する場合や、クラシックアーキテクチャと新しいアーキテクチャの出力を比較する場合は、SQL テキストを直接比較するのではなく、SQL を解析し、DDL の種類とデータベースおよびテーブルのメタデータを使用してその意味を評価してください。データベース名、テーブル名、インデックス名、およびそれらの大文字小文字は、名前解決やテーブルルーティングのエラーを見落とさないよう、具体的なシナリオに応じて引き続き検証する必要があります。

イベントフィルタールールを使用して DDL イベントをフィルターする場合の注意事項

フィルタリングされたDDL文がテーブルの作成または削除を伴う場合、TiCDCはDML文のレプリケーション動作に影響を与えることなく、DDL文のみをフィルタリングします。以下に例を示します。

changefeed の設定ファイルが次のようになっていると仮定します。

[filter] rules = ['test.t*'] [[filter.event-filters]] matcher = ["test.t1"] # This filter rule applies only to the t1 table in the test database. ignore-event = ["create table", "drop table", "truncate table", "rename table"]
DDLDDLの動作DMLの動作説明
CREATE TABLE test.t1 (id INT, name VARCHAR(50));無視する複製するtest.t1がイベントフィルタールールに一致するため、 CREATE TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。
CREATE TABLE test.t2 (id INT, name VARCHAR(50));複製する複製するtest.t2はイベントフィルタールールと一致しません。
CREATE TABLE test.ignore (id INT, name VARCHAR(50));無視する無視するtest.ignoreがイベントフィルタールールに一致するため、DDL イベントと DML イベントの両方が無視されます。
DROP TABLE test.t1;無視する-test.t1がイベントフィルタールールに一致するため、DROP TABLEイベントは無視されます。テーブルが削除されたため、TiCDC はt1の DML イベントを複製しなくなります。
TRUNCATE TABLE test.t1;無視する複製するtest.t1がイベントフィルタールールに一致するため、 TRUNCATE TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。
RENAME TABLE test.t1 TO test.t2;無視する複製するtest.t1がイベントフィルタールールに一致するため、 RENAME TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。
RENAME TABLE test.t1 TO test.ignore;無視する無視するtest.t1がイベントフィルタールールに一致するため、 RENAME TABLEイベントは無視されます。test.ignoreがイベントフィルタールールに一致するため、DDL イベントと DML イベントの両方が無視されます。

複数テーブルの名前変更操作を ignore-sql でフィルタする場合、マッチング対象の入力がクラシックアーキテクチャと新しいアーキテクチャで異なることに注意してください。クラシックアーキテクチャでは、ignore-sql は操作を単一テーブルの DDL イベントに分割した後の各 SQL 文に対してマッチングされます。新しいアーキテクチャでは、個々のテーブルにイベントフィルタールールが適用される際に、ignore-sql は複数テーブルの名前変更操作全体について再構築された SQL に対してマッチングされます。同じイベントフィルタールールの matcher が複数のテーブルに一致する場合、1 つの名前変更ステップに対する ignore-sql のマッチングによって、そのルールが対象とする他の名前変更ステップもフィルタされる可能性があります。アーキテクチャを切り替える前に、このようなフィルタールールの実際のマッチング結果を確認してください。

このページは役に立ちましたか?