📣新登場!TiDB Cloud BYOC、TiDB Cloud Filesystem、PostgreSQL-compatible TiDB Cloud Starter がパブリックプレビュー中。このページは自動翻訳されたものです。原文はこちらからご覧ください。

TiCDC のトラブルシューティング



このドキュメントでは、TiCDC の使用時に発生する可能性のある一般的なエラーと、それに対応するメンテナンスおよびトラブルシューティングの方法について説明します。

TiCDC レプリケーションの中断

TiCDC レプリケーションタスクが中断されたかどうかはどうすればわかりますか?

  • Grafanaダッシュボードで、レプリケーションタスクの監視メトリックchangefeed checkpoint (適切なchangefeed idを選択)を確認してください。メトリック値が変化しない場合、またはメトリックcheckpoint lagが増加し続ける場合、レプリケーションタスクが中断されている可能性があります。
  • 監視メトリックexit error countを確認してください。メトリック値が0より大きい場合、レプリケーションタスクでエラーが発生しました。
  • cdc cli changefeed listとcdc cli changefeed queryを実行して、レプリケーションタスクのステータスを確認します。stoppedはタスクが停止したことを意味し、 errorは詳細なエラーメッセージを示します。エラー発生後、TiCDCサーバーログでerror on running processorを検索してエラースタックを確認し、トラブルシューティングを行えます。
  • 極端なケースでは、TiCDC サービスが再起動されることがあります。トラブルシューティングのために、TiCDCサーバーログのFATALレベルのログを検索できます。

レプリケーションタスクが手動で停止されたかどうかを確認するにはどうすればよいですか?

レプリケーションタスクが手動で停止されているかどうかを確認するには、 cdc cliを実行します。例:

cdc cli changefeed query --server=http://127.0.0.1:8300 --changefeed-id 28c43ffc-2316-4f4f-a70b-d1a7c59ba79f

上記のコマンドの出力で、 admin-job-typeがこのレプリケーションタスクの状態を示しています。各状態とその意味の詳細については、 チェンジフィードの状態を参照してください。

レプリケーションの中断をどのように処理しますか?

次の既知のシナリオでは、レプリケーションタスクが中断される可能性があります。

  • ダウンストリームは引き続き異常であり、何度も再試行しても TiCDC は失敗します。

    • このシナリオでは、TiCDCはタスク情報を保存します。TiCDCはPDにサービスGCセーフポイントを設定しているため、タスクチェックポイント以降のデータは有効期間gc-ttl内にTiKV GCによってクリーンアップされません。

    • 対処方法:ダウンストリームが正常に戻った後、 cdc cli changefeed resumeを実行することでレプリケーションタスクを再開できます。

  • ダウンストリームに互換性のない SQL文があるため、レプリケーションを続行できません。

    • このシナリオでは、TiCDCはタスク情報を保存します。TiCDCはPDにサービスGCセーフポイントを設定しているため、タスクチェックポイント以降のデータは有効期間gc-ttl内にTiKV GCによってクリーンアップされません。
    • 取り扱い手順:
      1. cdc cli changefeed queryコマンドを使用してレプリケーションタスクのステータス情報を照会し、 checkpoint-tsの値を記録します。
      2. 新しいタスク設定ファイルを使用してignore-txn-start-tsパラメーターを追加し、指定されたstart-tsに対応するトランザクションをスキップします。
      3. cdc cli changefeed pause -c <changefeed-id>を実行してレプリケーションタスクを一時停止します。
      4. cdc cli changefeed update -c <changefeed-id> --config <config-file-path>を実行して新しいタスク設定ファイルを指定します。
      5. cdc cli changefeed resume -c <changefeed-id>を実行してレプリケーションタスクを再開します。

タスク中断後に TiCDC を再起動した後で発生する OOM を処理するにはどうすればよいですか?

  • TiDBクラスターとTiCDCクラスターを最新バージョンに更新してください。OOM問題は、v4.0.14以降のv4.0バージョン、v5.0.2以降のv5.0バージョン、および最新バージョンで既に解決されています。

レプリケーションタスクを作成するとき、または MySQL にデータをレプリケートするときに、Error 1298: Unknown or incorrect time zone: 'UTC'エラーを処理するにはどうすればよいですか?

このエラーは、下流のMySQLがタイムゾーンをロードしていない場合に返されます。mysql_tzinfo_to_sqlを実行することでタイムゾーンをロードできます。タイムゾーンをロードした後は、タスクを作成し、通常どおりデータをレプリケートできます。

mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql -u root mysql -p

上記のコマンドの出力が次のようなものであれば、インポートは成功しています。

Enter password: Warning: Unable to load '/usr/share/zoneinfo/iso3166.tab' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/leap-seconds.list' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/zone.tab' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/zone1970.tab' as time zone. Skipping it.

ダウンストリームが特殊なMySQL環境(パブリッククラウドRDSまたは一部のMySQL派生バージョン)であり、前述の方法によるタイムゾーンのインポートに失敗した場合は、シンクURIのtime-zoneを空の値(例: time-zone="" )に設定することで、ダウンストリームのデフォルトのタイムゾーンを使用できます。time-zoneはmysqlとtidbシンクにのみ有効であることに注意してください。

mysqlとtidbシンクを使用する場合は、タイムゾーンを明示的に指定することをお勧めします(例: time-zone="Asia/Shanghai")。また、TiCDCサーバー構成で指定するtzとシンクURIで指定するtime-zoneが、下流データベースのタイムゾーン設定と一致していることを確認してください。これにより、タイムゾーンの不一致によるデータの不整合を防げます。

TiCDC のアップグレードによって発生した設定ファイルの非互換性の問題をどのように処理すればよいですか?

互換性に関する注意事項を参照してください。

TiCDCタスクのstart-tsタイムスタンプが現在時刻と大きく異なります。このタスクの実行中にレプリケーションが中断され、エラー[CDC:ErrBufferReachLimit]が発生しました。どうすればよいでしょうか?

v4.0.9 以降では、レプリケーションタスクで統合ソーター機能を有効にするか、 BRツールを使用して増分バックアップと復元を実行し、新しい時間から TiCDC レプリケーションタスクを開始できます。

変更フィードの下流にMySQLなどのデータベースがあり、TiCDCが時間のかかるDDL文を実行すると、他のすべての変更フィードがブロックされます。どうすればよいでしょうか?

  1. 時間のかかるDDL文を含む変更フィードの実行を一時停止します。すると、他の変更フィードがブロックされなくなったことがわかります。
  2. TiCDC ログでapply jobフィールドを検索し、時間のかかる DDL文のstart-tsを確認します。
  3. 下流でDDL文を手動で実行します。実行が完了したら、以下の操作を続行します。
  4. changefeed 設定を変更し、上記のstart-tsをignore-txn-start-ts設定項目に追加します。
  5. 一時停止された変更フィードを再開します。

TiCDCを使用してチェンジフィードを作成すると、[tikv:9006]GC life time is shorter than transaction duration, transaction starts at xx, GC safe point is yyエラーが報告されます。どうすればよいでしょうか?

現在のGCセーフポイントとサービスGCセーフポイントを照会するには、コマンドpd-ctl service-gc-safepoint --pd <pd-addrs>を実行する必要があります。GCセーフポイントがTiCDCレプリケーションタスク(changefeed)のstart-tsよりも小さい場合は、コマンドcdc cli create changefeedにオプション--disable-gc-checkを直接追加してchangefeedを作成できます。

pd-ctl service-gc-safepoint --pd <pd-addrs>の結果にgc_worker service_idがない場合:

  • PD バージョンが v4.0.8 以前の場合、詳細についてはPD issue #3128を参照してください。
  • PD を v4.0.8 以前のバージョンからそれ以降のバージョンにアップグレードする場合は、詳細についてはPD issue #3366を参照してください。

TiCDCを使用してメッセージをKafkaに複製すると、KafkaからMessage was too largeエラーが返されます。なぜでしょうか?

このエラーを解決するには、TiCDC Kafka Sink URI の max-message-bytes と、メッセージを受信する Kafka トピックの max.message.bytes の両方を確認し、これらの設定に互換性があることを確認してください。

TiCDC は max-message-bytes を使用して Kafka に送信するメッセージサイズを制限します。一方、Kafka は受信トピック内のレコードバッチに max.message.bytes の制限を適用します(圧縮が有効な場合は圧縮後)。TiCDC は、プロトコルオーバーヘッドのための余裕を残すために、デフォルトトピックの max.message.bytes に基づいて実効送信上限も調整します。トピックディスパッチャー を設定している場合、TiCDC は別のトピックにデータを送信する可能性があります。受信側のトピックも、そのサイズのメッセージを許可している必要があります。Sink URI または 1 つのトピックだけを変更しても、メッセージサイズエラーが発生することがあります。

まず、cdc cli changefeed query を実行して、現在の Sink URI 内のデフォルトトピックを確認します。changefeed 設定内のトピックディスパッチルールを確認し、メッセージを受信する可能性のあるすべてのトピックを特定してください。

cdc cli changefeed query --server=http://127.0.0.1:8300 --changefeed-id=test-cf

次の例では、デフォルトトピック default-topic と、1 つのルーティング先トピック routed-topic に対して、上限を 10 MiB(10485760 バイト)に設定しています。実際のメッセージサイズと既存の設定に基づいて、目標の上限値を決定してください。既存の上限値のほうが高い場合は、例の値まで下げないでください。コマンド内の Kafka アドレス、トピック名、および上限値は、実際の値に置き換えてください。トピックディスパッチャーによってメッセージが複数のトピックにルーティングされる場合は、受信する可能性のあるすべてのトピックを更新してください。トピックディスパッチャーを設定していない場合は、デフォルトトピックのみを更新すれば十分です。

bin/kafka-configs.sh --bootstrap-server localhost:9092 \ --entity-type topics --entity-name default-topic \ --alter --add-config max.message.bytes=10485760 bin/kafka-configs.sh --bootstrap-server localhost:9092 \ --entity-type topics --entity-name routed-topic \ --alter --add-config max.message.bytes=10485760

デフォルトトピックと、メッセージを受信する可能性のあるすべてのルーティング先トピックを照会し、各トピックの max.message.bytes が目標値に更新されていることを確認してください。次のコマンドは、前述の例に対応しています。トピックディスパッチャーを設定していない場合は、デフォルトトピックのみを照会してください。

bin/kafka-configs.sh --bootstrap-server localhost:9092 \ --entity-type topics --entity-name default-topic --describe bin/kafka-configs.sh --bootstrap-server localhost:9092 \ --entity-type topics --entity-name routed-topic --describe

次に、changefeed の Sink URI を更新します。--sink-uri オプションは完全な URI を受け取るため、既存のプロトコル、認証設定、およびその他のパラメーターは保持してください。次の例では、max-message-bytes を 10485760(10 MiB)に設定しています。この値は、目標の上限値に置き換えてください。

changefeed が実行中の場合は、まず一時停止し、その後に照会して状態が stopped であることを確認してください。changefeed がすでに stopped または failed 状態である場合は、そのまま更新コマンドに進むことができます。

cdc cli changefeed pause --server=http://127.0.0.1:8300 --changefeed-id=test-cf
cdc cli changefeed query --server=http://127.0.0.1:8300 --changefeed-id=test-cf

更新コマンドを実行し、出力内の設定差分を確認して、プロンプトが表示されたら変更を確定してください。

cdc cli changefeed update --server=http://127.0.0.1:8300 --changefeed-id=test-cf \ --sink-uri='kafka://127.0.0.1:9092/default-topic?protocol=canal-json&max-message-bytes=10485760'

更新が成功したことを確認したら、changefeed を再開します。

cdc cli changefeed resume --server=http://127.0.0.1:8300 --changefeed-id=test-cf

changefeed の再開後、次のコマンドを実行して、照会結果の Sink URI に更新後の max-message-bytes パラメーターが含まれていること、および changefeed の状態が normal に戻っていることを確認してください。

cdc cli changefeed query --server=http://127.0.0.1:8300 --changefeed-id=test-cf

一定時間後に再度照会し、checkpoint-ts が継続して進んでいることを確認するとともに、TiCDC ログにメッセージサイズエラーが再発していないか確認してください。

TiCDC レプリケーション中に、ダウンストリームで DDL文の実行が失敗したかどうかを確認するにはどうすればよいでしょうか? レプリケーションを再開するにはどうすればよいでしょうか?

DDL文の実行に失敗した場合、レプリケーションタスク(changefeed)は自動的に停止します。checkpoint-tsはDDL文のfinish-tsです。TiCDCにこの文の実行を下流で再試行させたい場合は、 cdc cli changefeed resumeを指定してレプリケーションタスクを再開してください。例:

cdc cli changefeed resume -c test-cf --server=http://127.0.0.1:8300

このDDL文のエラーをスキップしたい場合は、changefeedのstart-tsをcheckpoint-ts(DDL文のエラーが発生したタイムスタンプ)に1を加えた値に設定し、 cdc cli changefeed createコマンドを実行して新しいchangefeedタスクを作成します。例えば、DDL文のエラーが発生したcheckpoint-tsが415241823337054209の場合、以下のコマンドを実行してこのDDL文をスキップします。

この問題のあるDDL文をスキップするには、 ignore-txn-start-tsパラメーターを設定して、指定されたstart-tsに対応するトランザクションをスキップします。例:

  1. TiCDC ログでapply jobフィールドを検索し、時間がかかっている DDL のstart-tsを特定します。
  2. changefeed の設定を変更します。設定項目ignore-txn-start-tsに上記のstart-tsを追加します。
  3. 中断された変更フィードを再開します。
cdc cli changefeed remove --server=http://127.0.0.1:8300 --changefeed-id simple-replication-task cdc cli changefeed create --server=http://127.0.0.1:8300 --sink-uri="mysql://root:123456@127.0.0.1:3306/" --changefeed-id="simple-replication-task" --sort-engine="unified" --start-ts 415241823337054210

TiCDC を使用して Kafka にメッセージをレプリケートするとKafka: client has run out of available brokers to talk to: EOFエラーが報告されます。どうすればよいでしょうか?

このエラーは通常、TiCDCとKafkaクラスター間の接続障害によって発生します。トラブルシューティングを行うには、Kafkaのログとネットワークステータスを確認してください。考えられる原因の一つは、レプリケーションタスクの作成時に正しいパラメーターkafka-versionを指定しなかったために、TiCDC内のKafkaクライアントがKafkaサーバーにアクセスする際に間違ったバージョンのKafka APIを使用していることです。この問題を解決するには、 --sink-uriで正しいパラメーターkafka-versionを指定します。例:

cdc cli changefeed create --server=http://127.0.0.1:8300 --sink-uri "kafka://127.0.0.1:9092/test?topic=test&protocol=open-protocol&kafka-version=2.4.0"

このページは役に立ちましたか?