TiCDCの新アーキテクチャ
TiCDC v8.5.4-release.1以降、TiCDCは、リアルタイムデータレプリケーションのパフォーマンス、拡張性、安定性を向上させつつ、リソースコストを削減する新しいアーキテクチャを導入しました。
この新しいアーキテクチャはTiCDCクラシックアーキテクチャの構成、使用法、API との互換性を維持しながら、TiCDC コアコンポーネントを再設計し、そのデータ処理ワークフローを最適化します。これには次のような利点があります。
- シングルノードのパフォーマンス向上:シングルノードで最大50万個のテーブルを複製でき、ワイドテーブルのシナリオではシングルノードで最大190 MiB/sの複製スループットを実現します。
- 拡張性の向上:クラスターレプリケーション機能はほぼ線形に拡張可能です。単一のクラスターは100を超えるノードに拡張でき、10,000を超えるチェンジフィードをサポートし、単一のチェンジフィード内で数百万のテーブルをレプリケートできます。
- 安定性の向上:トラフィック量が多く、DDL操作が頻繁に発生し、クラスターのスケーリングイベントが発生するシナリオにおいて、変更フィードのレイテンシーが短縮され、パフォーマンスがより安定します。リソースの分離と優先度スケジューリングにより、複数の変更フィードタスク間の干渉が軽減されます。
- リソースコストの削減:リソース利用率の向上と冗長性の削減により、一般的なシナリオではCPUとメモリのリソース使用量を最大50%削減できます。
アーキテクチャ設計
TiCDCの新しいアーキテクチャは、ログサービスとダウンストリームアダプターという2つの主要コンポーネントで構成されています。
- ログサービス:コアデータサービスレイヤーとして、ログサービスはアップストリームのTiDBクラスターから行の変更やDDLイベントなどの情報を取得し、変更データをローカルディスクに一時的に保存します。また、ダウンストリームアダプターからのデータリクエストにも応答し、DMLデータとDDLデータを定期的にマージおよびソートして、ソート済みのデータをダウンストリームアダプターに送信します。
- ダウンストリームアダプター:ダウンストリームデータレプリケーション適応レイヤーとして、ダウンストリームアダプターはユーザーが開始する変更フィード操作を処理します。関連するレプリケーションタスクをスケジュールおよび生成し、ログサービスからデータを取得し、取得したデータをダウンストリームシステムにレプリケートします。
TiCDCの新しいアーキテクチャは、アーキテクチャをステートフルコンポーネントとステートレスコンポーネントに分離することで、システムの拡張性、信頼性、柔軟性を大幅に向上させています。ステートフルコンポーネントであるログサービスは、データの取得、ソート、およびストレージに重点を置いています。これを変更フィード処理ロジックから分離することで、複数の変更フィード間でデータを共有できるようになり、リソース利用率を効果的に向上させ、システムオーバーヘッドを削減できます。ステートレスコンポーネントであるダウンストリームアダプターは、インスタンス間でレプリケーションタスクを迅速に移行できる軽量スケジューリングメカニズムを使用しています。ワークロードの変化に基づいてレプリケーションタスクの分割とマージを動的に調整できるため、さまざまなシナリオで低遅延のレプリケーションが保証されます。
クラシックアーキテクチャと新しいアーキテクチャの比較
新しいアーキテクチャは、継続的なシステム拡張時に発生するパフォーマンスのボトルネック、安定性の不足、拡張性の制限といった一般的な問題に対処するように設計されています。クラシックアーキテクチャと比較して、新しいアーキテクチャは以下の主要な側面で大幅な最適化を実現しています。
クラシックアーキテクチャと新しいアーキテクチャのどちらかを選択する
ワークロードが次のいずれかの条件を満たす場合は、パフォーマンスと安定性を向上させるために、TiCDCクラシックアーキテクチャから新しいアーキテクチャに切り替えることをお勧めします。
- 増分スキャンパフォーマンスのボトルネック: 増分スキャンタスクの完了に過度に時間がかかり、レプリケーションのレイテンシーが継続的に増加します。
- 超高トラフィックシナリオ:変更フィードの総トラフィックが700 MiB/秒を超える場合。
- MySQL シンクで高スループット書き込みを行う単一テーブル: ターゲットテーブルには、主キーまたは NULL 以外の一意キーが 1つだけあります。
- 大規模なテーブルレプリケーション:レプリケーション対象のテーブル数が10万を超える場合。
- 頻繁な DDL 操作によるレイテンシー: DDL文の頻繁な実行は、レプリケーションのレイテンシーを大幅に増加させます。
新機能
新しいアーキテクチャでは、すべてのシンクに対してテーブルレベルのタスク分割がサポートされています。この機能は、changefeed 設定でscheduler.enable-table-across-nodes = trueを設定することで有効にできます。
この機能を有効にすると、TiCDC は、以下のいずれかの条件を満たすテーブルを自動的に分割し、複数のノードに分散させて並列レプリケーションを実行します。これにより、レプリケーションの効率とリソース利用率が向上します。
- テーブルのリージョン数が設定されたしきい値を超えています(デフォルトでは
10000、scheduler.region-thresholdで調整可能)。 - テーブルへの書き込みトラフィックが設定されたしきい値を超えています(デフォルトでは無効、
scheduler.write-key-thresholdで設定可能)。
テーブルレベルのタスク分割に関する推奨構成
新しい TiCDCアーキテクチャに切り替えた後は、クラシックアーキテクチャのテーブル分割設定を再利用しないでください。ほとんどの場合、新しいアーキテクチャのデフォルト設定を使用してください。レプリケーションのパフォーマンスにボトルネックが生じたり、スケジューリングの不均衡が発生したりする特別なシナリオでのみ、デフォルト値に基づいて段階的な調整を行ってください。
テーブル分割モードでは、以下の設定に注意してください。
scheduler.region-threshold: デフォルト値は10000です。テーブル内のリージョン数がこのしきい値を超えると、TiCDC はテーブルを分割します。リージョン数が比較的少ないが全体的な書き込みスループットが高いテーブルの場合は、この値を適切に減らせます。このパラメーターはscheduler.region-count-per-span以上である必要があります。そうでない場合、タスクが繰り返し再スケジュールされ、レプリケーションのレイテンシーが増加する可能性があります。scheduler.region-count-per-span: デフォルト値は100です。変更フィードの初期化中に、TiCDC はこのパラメーターに従って分割条件を満たすテーブルを分割します。分割後、各サブテーブルには最大でregion-count-per-span個のリージョンが含まれます。scheduler.write-key-threshold: デフォルト値は0(無効) です。テーブルのシンク書き込みスループットがこのしきい値を超えると、TiCDC はテーブル分割をトリガーします。ほとんどの場合、このパラメーターは0に設定してください。
ストレージシンクのファイル名の変更と消費時の注意事項
v8.5.5 以降、新しい TiCDC アーキテクチャでテーブルレベルのタスク分割が有効になっている場合、ストレージシンク のデータファイルは CDC{num}.{extension} ではなく CDC_{uuid}_{num}.{extension} という命名形式を使用し、インデックスファイルは CDC.index ではなく CDC_{uuid}.index を使用します。ここで、uuid はテーブル分割後のレプリケーションサブタスクを識別し、num はファイルのシーケンス番号を示します。
データ変更レコードのパス
{scheme}://{prefix}/{schema}/{table}/{table-version-separator}/{partition-separator}/{date-separator}/CDC_{uuid}_{num}.{extension}インデックスファイルのパス
{scheme}://{prefix}/{schema}/{table}/{table-version-separator}/{partition-separator}/{date-separator}/meta/CDC_{uuid}.index
テーブルレベルのタスク分割が有効になると、{schema}/{table}/{table-version-separator}/ ディレクトリ配下では、同じテーブルに対して uuid の値が異なり、シーケンス番号が同じ複数のデータファイルが存在する可能性があります。例:
├── metadata
└── test
├── tbl_1
│ ├── 437752935075545091
│ │ ├── CDC_11_000001.json
│ │ ├── CDC_11_000002.json
│ │ ├── CDC_22_000001.json
│ │ └── meta
│ │ ├── CDC_11.index
│ │ └── CDC_22.index
│ ├── 437752935075546092
│ │ ├── CDC_33_000001.json
│ │ ├── CDC_44_000001.json
│ │ └── meta
│ │ ├── CDC_33.index
│ │ └── CDC_44.index
複数のレプリケーションサブタスクが並列にファイルを書き込むため、ダウンストリームのコンシューマーが完全に書き込まれる前のデータファイルを読み取り、一部のデータが欠落する可能性があります。この状況を避けるため、ダウンストリームのコンシューマープログラムを作成する際は、次の順序でデータを読み取ってください。
- 各レプリケーションサブタスクに対応する
meta/CDC_{uuid}.indexファイル(たとえばCDC_11.index)を読み取り、完全に書き込まれたファイル名(たとえばCDC_11_000002.json)を取得します。 - シーケンス番号順にデータファイルを読み取り、インデックスファイルと同じ
uuidを持ち、かつそのインデックスファイルに記録されたファイル名のシーケンス番号以下のファイルのみを選択します(たとえばCDC_11_000001.jsonとCDC_11_000002.json)。 - すべてのレプリケーションサブタスクから DML イベントを読み取った後、
commit-tsでソートし、その結果の順序でダウンストリームシステム内で処理します。
互換性
以下の特別な場合を除き、TiCDC の新しいアーキテクチャはクラシックアーキテクチャと完全に互換性があります。
DDL進捗状況追跡テーブル
TiCDC のクラシックアーキテクチャでは、DDL レプリケーション操作は厳密にシリアルであるため、レプリケーションの進行状況は変更フィードのCheckpointTsを使用してのみ追跡できます。しかし、新しいアーキテクチャでは、DDL レプリケーションの効率を向上させるために、可能な限り異なるテーブルの DDL 変更を並列でレプリケートします。ダウンストリームの MySQL 互換データベースで各テーブルの DDL レプリケーションの進行状況を正確に記録するために、TiCDC の新しいアーキテクチャでは、ダウンストリームデータベースにtidb_cdc.ddl_ts_v1という名前のテーブルを作成し、変更フィードの DDL レプリケーションの進行状況情報を格納します。
DDLレプリケーション動作の変更
TiCDC の新しいアーキテクチャとクラシックアーキテクチャでは、RENAME DDL のレプリケーション動作に次の違いがあります。
- テーブル名の入れ替え: 中間テーブル名を使用して 2 つのテーブル名を入れ替える DDL(たとえば、
RENAME TABLE a TO c, b TO a, c TO b;)については、クラシックアーキテクチャではレプリケーションがサポートされませんが、新しいアーキテクチャではサポートされます。レプリケーション時には、相互に依存するすべての名前変更ステップを保持する必要があります。 - テーブルフィルタリング: どちらのアーキテクチャでも、
RENAMEステートメントをレプリケートするかどうかは、古いテーブル名がフィルタールールに一致するかどうかによって決まります。古いテーブル名が一致せず、新しいテーブル名が一致する場合、changefeed はエラーを報告してレプリケーションを停止します。複数テーブルのRENAMEでは、クラシックアーキテクチャではターゲットデータベースもレプリケーション範囲内である必要がありますが、新しいアーキテクチャでは各名前変更ステップを個別に評価します。たとえば、filter.rules = ['test.t*']の場合、新しいアーキテクチャではRENAME TABLE test.t1 TO ignore.t1, test.t2 TO test.t22;をレプリケートでき、その後、名前変更されたignore.t1のレプリケーションを停止します。詳細は、テーブル名の変更に関するDDLレプリケーションの考慮事項を参照してください。
DDL SQL テキストの違い
TiCDC が下流にレプリケートする DDL SQL テキストは、上流の元のステートメントやクラシックアーキテクチャの出力と異なる場合があります。新しいアーキテクチャでは、単一テーブルの名前変更ステートメントを、データベース名とテーブル名を完全修飾した RENAME TABLE ステートメントに書き換えます。複数テーブルの名前変更イベントやテーブル一括作成イベントを分割する際には、分割後の各ステートメントの末尾にセミコロンも追加します。SQL の書き換えは、ビュー、データベースをまたぐ CREATE TABLE ... LIKE ... ステートメント、名前のないインデックス、およびテーブルルーティングでも発生する場合があります。
下流のコンシューマーが DDL SQL を解析する必要がある場合、またはアップグレード時に新しいアーキテクチャとクラシックアーキテクチャの出力を比較する必要がある場合は、DDL SQL テキストの処理を参照してください。
制限事項
新しいTiCDCアーキテクチャでは、ダウンストリームレプリケーションのために大規模なトランザクションを複数のバッチに分割する機能が現状ではサポートされていません。そのため、非常に大きなトランザクションを処理する際にメモリ不足(OOM)が発生するリスクが依然として存在します。新しいアーキテクチャを使用する前に、このリスクを適切に評価し、軽減策を講じてください。
アップグレードガイド
新しいアーキテクチャのTiCDCは、TiDBクラスターのバージョン7.5.0以降にのみデプロイできます。デプロイ前に、TiDBクラスターがこの要件を満たしていることを確認してください。
TiUPまたはTiDB Operatorを使用して、新しいアーキテクチャにTiCDCノードをデプロイできます。
新しいアーキテクチャでTiCDCノードを備えた新しいTiDBクラスターをデプロイ
TiUPを使用して v8.5.4 以降の新しい TiDB クラスターをデプロイする場合、新しいアーキテクチャで TiCDC ノードも同時にデプロイできます。そのためには、 TiUP がTiDB クラスターの起動に使用する設定ファイルに TiCDC 関連のセクションを追加し、 newarch: trueを設定するだけです。以下に例を示します。
cdc_servers:
- host: 10.0.1.20
config:
newarch: true
- host: 10.0.1.21
config:
newarch: true
TiCDC デプロイメントの詳細については、 TiUPを使用してTiCDCを含む新しいTiDBクラスターをデプロイを参照してください。
TiDB Operator を使用して v8.5.4 以降の新しい TiDB クラスターをデプロイする場合、新しいアーキテクチャで TiCDC ノードを同時にデプロイすることもできます。そのためには、クラスター設定ファイルに TiCDC 関連のセクションを追加し、 newarch = trueを設定するだけです。以下に例を示します。
spec:
ticdc:
baseImage: pingcap/ticdc
version: v8.5.8
replicas: 3
config:
newarch = true
TiCDC 導入の詳細については、 TiCDCの新規導入を参照してください。
既存のTiDBクラスターに新しいアーキテクチャでTiCDCノードをデプロイ
TiUPを使用して新しいアーキテクチャにTiCDCノードをデプロイするには、以下の手順を実行してください。
TiDB クラスターにまだ TiCDC ノードがない場合は、 TiCDCクラスターをスケールアウトするを参照してクラスターに新しい TiCDC ノードを追加します。それ以外の場合は、この手順をスキップしてください。
TiDBクラスターのバージョンがv8.5.4より前の場合は、新しいアーキテクチャのTiCDCバイナリパッケージを手動でダウンロードし、ダウンロードしたファイルをTiDBクラスターにパッチ適用する必要があります。それ以外の場合は、この手順をスキップしてください。
ダウンロードリンクは次の形式に従います:
https://tiup-mirrors.pingcap.com/cdc-${version}-${os}-${arch}.tar.gz。ここで、${version}は TiCDC バージョン (利用可能なバージョンについては新しいアーキテクチャの TiCDC リリースを参照)、${os}はオペレーティングシステムです。${arch}は、コンポーネントが実行されるプラットフォーム (amd64またはarm64) です。例えば、Linux (x86-64) 用の TiCDC v8.5.8 のバイナリパッケージをダウンロードするには、次のコマンドを実行します。
wget https://tiup-mirrors.pingcap.com/cdc-v8.5.8-linux-amd64.tar.gzTiDB クラスターで実行中のチェンジフィードがある場合は、 レプリケーションタスクを一時停止するを参照して、チェンジフィードのすべてのレプリケーションタスクを一時停止します。
# The default server port of TiCDC is 8300. cdc cli changefeed pause --server=http://<ticdc-host>:8300 --changefeed-id <changefeed-name>tiup cluster patchコマンドを使用して、ダウンロードした TiCDC バイナリファイルを TiDB クラスターにパッチ適用します。tiup cluster patch <cluster-name> ./cdc-v8.5.8-linux-amd64.tar.gz -R cdc --overwrite新しいアーキテクチャを有効にするには、
tiup cluster edit-configコマンドを使用して TiCDC の設定を更新してください。tiup cluster edit-config <cluster-name>server_configs: cdc: newarch: trueすべてのレプリケーションタスクを再開するには、 レプリケーションタスクを再開するを参照してください。
# The default server port of TiCDC is 8300. cdc cli changefeed resume --server=http://<ticdc-host>:8300 --changefeed-id <changefeed-name>
TiDB Operatorを使用して既存のTiDBクラスターに新しいアーキテクチャでTiCDCノードをデプロイするには、次の手順を実行します。
TiDB クラスターに TiCDCコンポーネントが含まれていない場合は、 既存のTiDBクラスターにTiCDCを追加するを参照して、新しい TiCDC ノードを追加します。その際、クラスター設定ファイルで TiCDC イメージのバージョンを新しいアーキテクチャのバージョンとして指定します。利用可能なバージョンについては、 新しいアーキテクチャの TiCDC リリースを参照してください。
例えば:
spec: ticdc: baseImage: pingcap/ticdc version: v8.5.8 replicas: 3 config: newarch = trueTiDBクラスターに既にTiCDCコンポーネントが含まれている場合は、以下の手順を実行してください。
TiDBクラスターで実行中のチェンジフィードがある場合は、チェンジフィードのすべてのレプリケーションタスクを一時停止してください。
kubectl exec -it ${pod_name} -n ${namespace} -- sh# The default server port of TiCDC deployed via TiDB Operator is 8301. /cdc cli changefeed pause --server=http://127.0.0.1:8301 --changefeed-id <changefeed-name>クラスター設定ファイル内のTiCDCイメージバージョンを新しいアーキテクチャバージョンに更新してください。
kubectl edit tc ${cluster_name} -n ${namespace}spec: ticdc: baseImage: pingcap/ticdc version: v8.5.8 replicas: 3kubectl apply -f ${cluster_name} -n ${namespace}変更フィードのすべてのレプリケーションタスクを再開します。
kubectl exec -it ${pod_name} -n ${namespace} -- sh# The default server port of TiCDC deployed via TiDB Operator is 8301. /cdc cli changefeed resume --server=http://127.0.0.1:8301 --changefeed-id <changefeed-name>
新しいアーキテクチャを使用する
新しいアーキテクチャでTiCDCノードをデプロイした後も、クラシックアーキテクチャと同じコマンドを引き続き使用できます。新しいコマンドを学習したり、クラシックアーキテクチャで使用していたコマンドを変更したりする必要はありません。
例えば、新しいアーキテクチャで新しいTiCDCノードのレプリケーションタスクを作成するには、次のコマンドを実行します。
cdc cli changefeed create --server=http://127.0.0.1:8300 --sink-uri="mysql://root:123456@127.0.0.1:3306/" --changefeed-id="simple-replication-task"
特定のレプリケーションタスクの詳細を照会するには、次のコマンドを実行します。
cdc cli changefeed query -s --server=http://127.0.0.1:8300 --changefeed-id=simple-replication-task
コマンドの使用方法と詳細については、変更フィードを管理するを参照してください。
監視
新しいアーキテクチャにおける TiCDC の監視ダッシュボードは、TiCDC-New-Archです。TiDB クラスターのバージョンが v8.5.4 以降の場合、この監視ダッシュボードはクラスターのデプロイまたはアップグレード時に Grafana に統合されるため、手動操作は不要です。クラスターのバージョンが v8.5.4 より前の場合は、監視を有効にするためにTiCDC監視メトリクスファイルを手動でインポートする必要があります。
インポート手順と各監視メトリクスの詳細な説明については、 新アーキテクチャにおけるTiCDCのメトリクスを参照してください。

