TiCDCアラートルール
このドキュメントでは、TiCDC アラート ルールと対応するソリューションについて説明します。重大度レベルは、降順で、重大、警告です。
重大なアラート
このセクションでは、重要なアラートと解決策について説明します。
cdc_checkpoint_high_delay
重大なアラートの場合、異常な監視メトリックに細心の注意を払う必要があります。
アラートルール:
ticdc_owner_checkpoint_ts_lag > 600説明：
レプリケーション タスクが 10 分以上遅延します。
解決：
cdc_resolvedts_high_delay
アラートルール:
ticdc_owner_resolved_ts_lag > 300説明：
レプリケーション タスクの解決された TS が 5 分以上遅延します。
解決：
ticdc_changefeed_failed
アラートルール:
(max_over_time(ticdc_owner_status[1m]) == 2) > 0説明：
レプリケーション タスクで回復不可能なエラーが発生し、失敗状態になります。
解決：
このアラートはレプリケーションの中断に似ています。 TiCDC はレプリケーションの中断を処理します参照してください。
ticdc_processor_exit_with_error_count
アラートルール:
changes(ticdc_processor_exit_with_error_count[1m]) > 0説明：
レプリケーション タスクはエラーを報告して終了します。
解決：
警告アラート
警告アラートは、問題またはエラーを通知するものです。
cdc_multiple_owners
アラートルール:
sum(rate(ticdc_owner_ownership_counter[30s])) >= 2説明：
TiCDC クラスターには複数の所有者が存在します。
解決：
根本原因を特定するために TiCDC ログを収集します。
cdc_sink_flush_duration_time_more_than_10s
アラートルール:
histogram_quantile(0.9, rate(ticdc_sink_txn_worker_flush_duration[1m])) > 10説明：
レプリケーション タスクでは、ダウンストリーム データベースにデータを書き込むのに 10 秒以上かかります。
解決：
ダウンストリーム データベースに問題がないか確認します。
cdc_processor_checkpoint_tso_no_change_for_1m
アラートルール:
changes(ticdc_processor_checkpoint_ts[1m]) < 1説明：
レプリケーション タスクが 1 分以上進行していません。
解決：
ticdc_puller_entry_sorter_sort_bucket
アラートルール:
histogram_quantile(0.9, rate(ticdc_puller_entry_sorter_sort_bucket{}[1m])) > 1説明：
TiCDC プラー エントリ ソーターの遅延が大きすぎます。
解決：
根本原因を特定するために TiCDC ログを収集します。
ticdc_puller_entry_sorter_merge_bucket
アラートルール:
histogram_quantile(0.9, rate(ticdc_puller_entry_sorter_merge_bucket{}[1m])) > 1説明：
TiCDC プラー エントリ ソーター マージの遅延が大きすぎます。
解決：
根本原因を特定するために TiCDC ログを収集します。
tikv_cdc_min_resolved_ts_no_change_for_1m
アラートルール:
changes(tikv_cdc_min_resolved_ts[1m]) < 1 and ON (instance) tikv_cdc_region_resolve_status{status="resolved"} > 0 and ON (instance) tikv_cdc_captured_region_total > 0説明：
TiKV CDC の最小解決 TS 1 は 1 分間進んでいません。
解決：
根本原因を特定するために TiKV ログを収集します。
tikv_cdc_scan_duration_seconds_more_than_10min
アラートルール:
histogram_quantile(0.9, rate(tikv_cdc_scan_duration_seconds_bucket{}[1m])) > 600説明：
TiKV CDC モジュールは、増分レプリケーションを 10 分以上スキャンしました。
解決：
根本原因を特定するために、TiCDC 監視メトリックと TiKV ログを収集します。
ticdc_sink_mysql_execution_error
アラートルール:
changes(ticdc_sink_mysql_execution_error[1m]) > 0説明：
レプリケーション タスクがダウンストリーム MySQL にデータを書き込むときにエラーが発生します。
解決：
根本的な原因は多数考えられます。1 TiCDC のトラブルシューティング参照してください。
ticdc_memory_abnormal
アラートルール:
go_memstats_heap_alloc_bytes{job="ticdc"} > 1e+10説明：
TiCDC ヒープメモリ使用量が 10 GiB を超えています。
解決：
根本原因を特定するために TiCDC ログを収集します。