チェンジフィード DDL レプリケーション このドキュメントでは、TiCDC における DDL レプリケーションのルールと特殊なケースについて説明します。
DDL許可リスト 現在、TiCDC は許可リストを使用して DDL文をレプリケートするかどうかを決定します。許可リストに含まれる DDL文のみが下流にレプリケートされます。許可リストに含まれない DDL文はレプリケートされません。
さらに、TiCDCは、テーブルに有効なインデックス があるかどうか、および設定項目force-replicate がtrueに設定されているかどうかに基づいて、DDL文をダウンストリームに複製するかどうかを決定します。force-replicate=trueの場合、レプリケーションタスクは強制的に有効なインデックスのないテーブルを複製する 試みます。
以下は、TiCDC でサポートされている DDL文の許可リストです。表内の略語は以下のとおりです。
Y: この状態ではダウンストリームへのレプリケーションがサポートされます。 N: この状態では、ダウンストリームへのレプリケーションはサポートされません。 ノート
アップストリームテーブルに有効なインデックスがなく、かつforce-replicate=trueが設定されていない場合、テーブルはレプリケートされません。ただし、このテーブルに有効なインデックスを作成する後続のDDL文( CREATE INDEX 、 ADD INDEX 、 ADD PRIMARY KEYを含む)はレプリケートされます。これにより、ダウンストリームテーブルとアップストリームテーブルのスキーマ間に不整合が生じ、その後のデータレプリケーションが失敗する可能性があります。 最後の有効なインデックスを削除する DDL文 ( DROP INDEXとDROP PRIMARY KEYを含む) は複製されないため、後続のデータレプリケーションが失敗します。 DDL 有効なインデックスが存在します 有効なインデックスが存在せず、 force-replicateはfalse (デフォルト) です 有効なインデックスが存在せず、 force-replicateがtrueに設定されている CREATE DATABASEY Y Y DROP DATABASEY Y Y ALTER DATABASE CHARACTER SETY Y Y CREATE INDEXY Y Y ADD INDEXY Y Y DROP INDEXY N Y ADD PRIMARY KEYY Y Y DROP PRIMARY KEYY N Y CREATE TABLEY N Y DROP TABLEY N Y ADD COLUMNY N Y DROP COLUMNY N Y TRUNCATE TABLEY N Y MODIFY COLUMNY N Y RENAME TABLEY N Y ALTER COLUMN DEFAULT VALUEY N Y ALTER TABLE COMMENTY N Y RENAME INDEXY N Y ADD PARTITIONY N Y DROP PARTITIONY N Y TRUNCATE PARTITIONY N Y CREATE VIEWY N Y DROP VIEWY N Y ALTER TABLE CHARACTER SETY N Y RECOVER TABLEY N Y REBASE AUTO IDY N Y ALTER TABLE INDEX VISIBILITYY N Y EXCHANGE PARTITIONY N Y REORGANIZE PARTITIONY N Y ALTER TABLE TTLY N Y ALTER TABLE REMOVE TTLY N Y
DDLレプリケーションの考慮事項 ADD INDEXおよびCREATE INDEX DDL の非同期実行TiCDC は通常 DDL文を順番にレプリケートしますが、ダウンストリームがTiDBの場合、インデックスの作成および追加のための DDL 操作を非同期的に実行します。つまり、 ADD INDEXとCREATE INDEX DDLをダウンストリームTiDBクラスターにレプリケートして実行した後、TiCDCはDDL実行の完了を待たずに直ちに戻ります。これにより、変更フィードレプリケーションのレイテンシーへの影響を最小限に抑え、後続のDML実行がブロックされることを回避できます。
ダウンストリームでADD INDEXまたはCREATE INDEX DDL 操作が実行されている間に、TiCDC が同じテーブルに対して次の DDL 操作を実行すると、この DDL 操作がqueueing状態で長時間ブロックされる可能性があります。これにより、TiCDC はこの DDL 操作を繰り返し実行することになり、再試行に時間がかかりすぎると、レプリケーションタスクが失敗する可能性があります。v8.4.0 以降では、TiCDC がダウンストリームデータベースに対してSUPER権限を持っている場合、定期的にADMIN SHOW DDL JOBSを実行して、非同期で実行された DDL タスクのステータスを確認します。TiCDC は、インデックス作成が完了するまで待ってからレプリケーションを続行します。これによりレプリケーションのレイテンシーが増加する可能性がありますが、レプリケーションタスクの失敗を回避できます。
ノート
特定のダウンストリーム DML の実行が、レプリケーションが完了していないインデックスに依存している場合、これらの DML の実行速度が遅くなり、TiCDC レプリケーションのレイテンシーに影響する可能性があります。 DDLをダウンストリームに複製する前に、TiCDCノードがクラッシュした場合、またはダウンストリームが他の書き込み操作を実行している場合、DDL複製がごくまれに失敗する可能性があります。ダウンストリームでそのような状況が発生するかどうかを確認できます。 テーブル名の変更に関するDDLレプリケーションの考慮事項 TiCDC は、名前変更前後のデータベース名とテーブル名、およびフィルタールールに基づいて、RENAME TABLE DDL をレプリケートするかどうかを判断します。以下の例では、テーブルがレプリケーション要件を満たしており、追加の DDL イベントフィルタールールが設定されていないことを前提としています。
DDL文で単一のテーブルの名前を変更する DDL文で単一のテーブル名を変更する場合、TiCDCは古いテーブル名がフィルタールールに一致する場合にのみ、そのDDL文を複製します。以下に例を示します。
changefeed の設定ファイルが次のようになっていると仮定します。
[filter]
rules = ['test.t*' ]
TiCDC はこのタイプの DDL を次のように処理します。
DDL 複製するかどうか 取り扱い理由 RENAME TABLE test.t1 TO test.t2複製する test.t1はフィルタールールに一致しますRENAME TABLE test.t1 TO ignore.t1複製する test.t1はフィルタールールに一致しますRENAME TABLE ignore.t1 TO ignore.t2無視する ignore.t1はフィルタールールに一致しませんRENAME TABLE test.n1 TO test.t1エラーを報告してレプリケーションを停止する 古いテーブル名test.n1はフィルタールールに一致しませんが、新しいテーブル名test.t1はフィルタールールに一致します。この操作は無効です。この場合、エラーメッセージを参照して対処してください。 RENAME TABLE ignore.t1 TO test.t1エラーを報告してレプリケーションを停止する 上記と同じ理由です。
これらのルールは、クラシックアーキテクチャと新しいアーキテクチャの両方に適用されます。古いテーブル名がフィルタールールに一致し、新しいテーブル名が一致しない場合、TiCDC は RENAME TABLE DDL をレプリケートし、その後そのテーブルに対する後続のデータ変更のレプリケーションを停止します。古いテーブル名が一致せず、新しいテーブル名が一致する場合、TiCDC は CDC:ErrSyncRenameTableFailed エラーを報告します。これは、名前変更だけをレプリケートしても、そのテーブルについて以前にレプリケートされていなかったデータをバックフィルできないためです。
DDL文で複数のテーブルの名前を変更する DDL文で複数のテーブルの名前を変更する場合、新しいアーキテクチャでは、単一テーブルの名前変更ルールに従って各名前変更ステップを評価します。
古いテーブル名がフィルタールールに一致する場合、TiCDC は対応する名前変更ステップをレプリケートします。 古いテーブル名と新しいテーブル名のどちらも一致しない場合、TiCDC はそのステップを無視します。 古いテーブル名が一致せず、新しいテーブル名が一致する場合、changefeed はエラーを報告し、レプリケーションは停止します。 さらに、クラシックアーキテクチャでは、レプリケートされる各名前変更ステップのターゲットデータベースがレプリケーション範囲内にある必要があります。また、テーブル名を入れ替える RENAME TABLE 文はサポートしていません。
changefeed の設定ファイルが次のようになっていると仮定します。
[filter]
rules = ['test.t*' ]
TiCDC はこのタイプの DDL を次のように処理します。
DDL クラシックアーキテクチャ 新しいアーキテクチャ 理由 RENAME TABLE test.t1 TO test.t2, test.t3 TO test.t4複製する 複製する 古いデータベース名とテーブル名、および新しいデータベース名とテーブル名がいずれもフィルタールールに一致します RENAME TABLE test.t1 TO test.ignore1, test.t3 TO test.ignore2複製する 複製する 両方のアーキテクチャで、古いテーブル名はフィルタールールに一致します。クラシックアーキテクチャでは、さらにターゲットデータベースがレプリケーション範囲内にある必要があります。名前変更をレプリケートした後、TiCDC は名前変更されたテーブルに対する後続のデータ変更のレプリケーションを停止します RENAME TABLE test.t1 TO ignore.t1, test.t2 TO test.t22エラーを報告する 複製する ターゲットデータベース ignore はレプリケーション範囲内にありません。新しいアーキテクチャで名前変更をレプリケートした後、TiCDC は ignore.t1 のレプリケーションを停止し、test.t22 のレプリケーションは継続します RENAME TABLE test.t1 TO test.t2, ignore.t1 TO ignore.t2test.t1 の名前変更ステップのみをレプリケートするtest.t1 の名前変更ステップのみをレプリケートするignore.t1 と ignore.t2 はどちらもフィルタールールに一致しませんRENAME TABLE test.t1 TO test.t2, ignore.t1 TO test.t3エラーを報告する エラーを報告する ignore.t1 は一致しませんが、test.t3 はフィルタールールに一致しますRENAME TABLE test.t1 TO test.t4, test.t3 TO test.t1, test.t4 TO test.t3エラーを報告する 複製する 2 つのテーブル名は一時テーブル名 test.t4 を介して入れ替えられており、新しいアーキテクチャでは各名前変更ステップの順序が保持されます
新しいアーキテクチャでは、TiCDC は複数テーブルの名前変更に関係するすべてのテーブルのレプリケーション進行状況を調整しますが、ダウンストリーム SQL は複数の単一テーブル RENAME TABLE 文として再構築されます。MySQL sink はセミコロンで区切られた複数のサブステートメントを実行し、Kafka sink と Pulsar sink はそれらを単一テーブルの DDL メッセージに分割します。そのため、ダウンストリームでの実行では、単一のアップストリーム複数テーブル名前変更文のアトミック性は保証されません。一時テーブル名を使用してテーブル名を入れ替える場合は、相互に依存するすべてのステップを保持し、フィルタールールによってそのいずれかが除外されないようにしてください。
DDL文の考慮事項 アップストリームでクロスデータベースDDL文(例: CREATE TABLE db1.t1 LIKE t2 )を実行する場合、関連するすべてのデータベース名をDDL文(例: CREATE TABLE db1.t1 LIKE db2.t2 )で明示的に指定することをお勧めします。そうしないと、データベース名情報が不足しているため、ダウンストリームでクロスデータベースDDL文が正しく実行されない可能性があります。
DDL SQL テキストの処理 TiCDC は DDL SQL を解析、整形、または再構築します。そのため、ダウンストリームにレプリケートされる SQL テキストが、元のアップストリーム文と完全に一致するとは限りません。クラシックアーキテクチャと新しいアーキテクチャはどちらも、キーワードの大文字小文字、識別子の引用符、スペース、および一部の同義構文を正規化し、互換性のために TiDB 固有の構文も処理します。DROP TABLE、DROP VIEW、EXCHANGE PARTITION などの DDL は、どちらのアーキテクチャでも SQL 再構築ロジックを備えています。
新しいアーキテクチャでは、DDL SQL が次のように変更される場合もあります。特に記載された MySQL sink の書き換えを除き、これらの変更は DDL をサポートするメッセージプロトコルの SQL フィールドにも影響します。正確な出力形式は TiCDC のバージョンによって異なる場合があります。
DDL またはシナリオ 新しいアーキテクチャでの SQL テキスト処理 適用条件 単一テーブルの名前変更 完全なデータベース名とテーブル名を使用して、一律に RENAME TABLE db.old_table TO db.new_table として再構築される ALTER TABLE ... RENAME AS ...、ALTER TABLE ... RENAME TO ...、通常の RENAME TABLE ... TO ... を含みます。テーブルルーティングが有効でない場合も書き換えられます複数テーブルの名前変更 元の順序で複数の単一テーブル RENAME TABLE 文に再構築され、各サブステートメントは ; で終わる MySQL sink は結合された SQL を受け取り、Kafka や Pulsar など一度に 1 テーブルずつ出力する経路では複数のメッセージに分割されます テーブルのバッチ作成 分割された各 CREATE TABLE 文は ; で終わる アップストリームのバッチテーブル作成では複数テーブルを含む 1 つの DDL イベントが生成され、ダウンストリームでは単一テーブルイベントとして出力されます CREATE TABLE ... LIKE ...LIKE が参照するテーブルに不足しているデータベース修飾子を追加する元の SQL で参照先テーブルのデータベース名が修飾されておらず、DDL メタデータが参照先テーブルとターゲットテーブルが異なるデータベースにあることを示している場合 CREATE VIEW および CREATE OR REPLACE VIEWTiDB に保存されたビュークエリと DDL 時点のデータベースおよびテーブルのメタデータを使用して SQL を再構築し、テーブル参照やカラム参照にデータベース修飾子を追加したり、識別子の大文字小文字を正規化したり、カラムエイリアスを追加したりする場合がある ビュー定義内の名前を解析する必要がある場合。テーブルルーティングを有効にする必要はありません 名前なしのセカンダリインデックス 1 つの ALTER TABLE 内の複数の変更操作を含め、ALTER TABLE ... ADD INDEX/KEY/... 内の名前なしインデックスに対してアップストリームで生成されたインデックス名を追加する MySQL sink が MySQL または TiDB で DDL を実行する前にのみ処理され、MQ メッセージ内の SQL には適用されません 名前にバッククォートを含むデータベース、テーブル、またはパーティション SQL を再構築する際、名前内のバッククォートを 2 つのバッククォートとしてエスケープする 名前変更、DROP TABLE、DROP VIEW、EXCHANGE PARTITION など、SQL の再構築が必要なシナリオを含みます テーブルルーティング ルーティングルールに従ってデータベース名、テーブル名、および関連参照を書き換え、SQL を再生成する target-schema または target-table が設定されている場合。詳細は テーブルルーティングの DDL の動作 を参照してください
たとえば、現在のデータベースが db で、テーブルルーティングが有効でなく、次の名前変更イベントがフィルターされないと仮定します。単一テーブルの名前変更に対する出力は次のとおりです。文末のセミコロンは表では省略しています。
アップストリーム SQL クラシックアーキテクチャの出力 新しいアーキテクチャの出力 ALTER TABLE a RENAME AS bALTER TABLE `a` RENAME AS `b` RENAME TABLE `db`.`a` TO `db`.`b` ALTER TABLE a RENAME TO bALTER TABLE `a` RENAME AS `b` RENAME TABLE `db`.`a` TO `db`.`b` RENAME TABLE a TO bRENAME TABLE `a` TO `b` RENAME TABLE `db`.`a` TO `db`.`b`
RENAME TABLE a TO b, c TO d について、単一テーブルイベントとして出力される場合、クラシックアーキテクチャでの最初の SQL は RENAME TABLE `db`.`a` TO `db`.`b` であり、新しいアーキテクチャでは RENAME TABLE `db`.`a` TO `db`.`b`; です。末尾のセミコロンは、新しいアーキテクチャでの複数テーブル DDL 分割に由来します。
ダウンストリームコンシューマーを開発する場合や、クラシックアーキテクチャと新しいアーキテクチャの出力を比較する場合は、SQL テキストを直接比較するのではなく、SQL を解析し、DDL の種類とデータベースおよびテーブルのメタデータを使用してその意味を評価してください。データベース名、テーブル名、インデックス名、およびそれらの大文字小文字は、名前解決やテーブルルーティングのエラーを見落とさないよう、具体的なシナリオに応じて引き続き検証する必要があります。
イベントフィルタールールを使用して DDL イベントをフィルターする場合の注意事項 フィルタリングされたDDL文がテーブルの作成または削除を伴う場合、TiCDCはDML文のレプリケーション動作に影響を与えることなく、DDL文のみをフィルタリングします。以下に例を示します。
changefeed の設定ファイルが次のようになっていると仮定します。
[filter]
rules = ['test.t*' ]
[[filter.event-filters]]
matcher = ["test.t1" ]
ignore-event = ["create table" , "drop table" , "truncate table" , "rename table" ]
DDL DDLの動作 DMLの動作 説明 CREATE TABLE test.t1 (id INT, name VARCHAR(50));無視する 複製する test.t1がイベントフィルタールールに一致するため、 CREATE TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。CREATE TABLE test.t2 (id INT, name VARCHAR(50));複製する 複製する test.t2はイベントフィルタールールと一致しません。CREATE TABLE test.ignore (id INT, name VARCHAR(50));無視する 無視する test.ignoreがイベントフィルタールールに一致するため、DDL イベントと DML イベントの両方が無視されます。DROP TABLE test.t1;無視する - test.t1がイベントフィルタールールに一致するため、DROP TABLEイベントは無視されます。テーブルが削除されたため、TiCDC はt1の DML イベントを複製しなくなります。TRUNCATE TABLE test.t1;無視する 複製する test.t1がイベントフィルタールールに一致するため、 TRUNCATE TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。RENAME TABLE test.t1 TO test.t2;無視する 複製する test.t1がイベントフィルタールールに一致するため、 RENAME TABLEイベントは無視されます。DMLイベントのレプリケーションは影響を受けません。RENAME TABLE test.t1 TO test.ignore;無視する 無視する test.t1がイベントフィルタールールに一致するため、 RENAME TABLEイベントは無視されます。test.ignoreがイベントフィルタールールに一致するため、DDL イベントと DML イベントの両方が無視されます。
複数テーブルの名前変更操作を ignore-sql でフィルタする場合、マッチング対象の入力がクラシックアーキテクチャと新しいアーキテクチャで異なることに注意してください。クラシックアーキテクチャでは、ignore-sql は操作を単一テーブルの DDL イベントに分割した後の各 SQL 文に対してマッチングされます。新しいアーキテクチャでは、個々のテーブルにイベントフィルタールールが適用される際に、ignore-sql は複数テーブルの名前変更操作全体について再構築された SQL に対してマッチングされます。同じイベントフィルタールールの matcher が複数のテーブルに一致する場合、1 つの名前変更ステップに対する ignore-sql のマッチングによって、そのルールが対象とする他の名前変更ステップもフィルタされる可能性があります。アーキテクチャを切り替える前に、このようなフィルタールールの実際のマッチング結果を確認してください。
ノート
データベースにデータをレプリケートする際は、イベントフィルターを使用してDDLイベントを慎重にフィルタリングしてください。レプリケーション中は、上流と下流のデータベーススキーマの整合性が維持されていることを確認してください。整合性が維持されていない場合、TiCDCはエラーを報告したり、未定義のレプリケーション動作を引き起こしたりする可能性があります。 v6.5.8、v7.1.4、v7.5.1より前のバージョンでは、イベントフィルターを使用してテーブルの作成または削除を含むDDLイベントをフィルタリングすると、DMLレプリケーションに影響します。これらのバージョンでは、この機能の使用は推奨されません。