データ移行監視メトリクス

DM クラスターがTiUPを使用してデプロイされている場合、 監視システムも同時にデプロイされます。このドキュメントでは、DM-worker によって提供される監視メトリックについて説明します。

タスク

Grafana ダッシュボードでは、DM のデフォルト名はDM-taskです。

overview

Overviewには、現在選択されているタスク内のすべての DM ワーカーおよび DM マスター インスタンスまたはソースの監視メトリックが含まれています。現在のデフォルトのアラート ルールは、単一の DM ワーカー/DM マスター インスタンス/ソースのみを対象としています。

メトリック名説明警告重大度レベル
タスクの状態移行のサブタスクの状態該当なし該当なし
storage容量リレーログが占めるディスクの総storage容量該当なし該当なし
storage残りリレーログが占めるディスクの残りstorage容量該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelay処理ユニットが上流マスターより遅れているbinlogファイルの数該当なし該当なし
読み込みの進行状況ロードユニットの完了したロードプロセスの割合。値は0%〜100%です。該当なし該当なし
マスターと同期装置間のbinlogファイルのギャップbinlogレプリケーションユニットが上流マスターより遅れているbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディング DDL 移行を待機しているかどうか。0 より大きい値は、現在のサブタスクがシャーディング DDL 移行を待機していることを意味します。該当なし該当なし

操作エラー

メトリック名説明警告重大度レベル
操作エラーが発生する前に操作前のエラー数該当なし該当なし
ソース境界エラーデータソースバインディング操作のエラー数該当なし該当なし
開始エラーサブタスクの開始時に発生したエラーの数該当なし該当なし
一時停止エラーサブタスクの一時停止中に発生したエラーの数該当なし該当なし
再開エラーサブタスクの再開中に発生したエラーの数該当なし該当なし
自動再開エラーサブタスクの自動再開中に発生したエラーの数該当なし該当なし
更新エラーサブタスクの更新中に発生したエラーの数該当なし該当なし
停止エラーサブタスクの停止中に発生したエラーの数該当なし該当なし

高可用性

メトリック名説明警告重大度レベル
1 分あたりの DM マスター開始リーダー コンポーネントの数DM マスターがリーダー関連コンポーネントを有効にしようとする 1 分あたりの試行回数該当なし該当なし
異なる州の労働者の数各州のDM労働者の数一部の DM ワーカーが 1 時間以上オフラインになっています致命的
労働者国家DMワーカーの状態該当なし該当なし
ワーカーイベントエラーの数DMワーカーエラーの種類の数該当なし該当なし
1 分あたりのシャード DDL エラー数1 分あたりのさまざまな種類のシャーディング DDL エラーの数シャーディングDDLエラーが発生する致命的
保留中のシャード DDL の数保留中のシャーディング DDL 操作の数保留中のシャーディング DDL 操作が 1 時間以上存在している致命的

タスクの状態

メトリック名説明警告重大度レベル
タスクの状態サブタスクの状態サブタスクが20分以上Paused状態にある場合、アラートが発生します。致命的

ダンプ/ロードユニット

次のメトリックは、 task-mode fullまたはallモードの場合にのみ表示されます。

メトリック名説明警告重大度レベル
ダンプの進行状況ダンプユニットの完了したダンプ処理の割合。値の範囲は 0%~100% です。該当なし該当なし
読み込みの進行状況ロードユニットの完了したロードプロセスの割合。値の範囲は0%~100%です。該当なし該当なし
チェックサムの進行状況ロードユニットがダンプを終了した後の完了したチェックサム処理の割合。値の範囲は 0%~100% です。該当なし該当なし
ロードユニットの合計バイト数ロードユニットによるインポートプロセスの解析、データKVの生成、インデックスKVの生成の各段階で処理されるバイト数該当なし該当なし
チャンク処理期間データソースファイルチャンクを処理するロードユニットの所要時間(秒単位)該当なし該当なし
データファイルサイズロードユニットによってインポートされた全データ内のデータファイルの合計サイズ( INSERT INTOステートメントを含む)該当なし該当なし
ダンププロセスがエラーで終了しましたダンプユニットはDMワーカー内でエラーに遭遇し、終了します。即時アラート致命的
ロードプロセスがエラーで終了しましたロードユニットはDMワーカー内でエラーに遭遇し、終了します。即時アラート致命的

Binlogレプリケーション

次のメトリックは、 task-mode incrementalまたはallモードの場合にのみ表示されます。

メトリック名説明警告重大度レベル
同期の残り時間syncerアップストリーム マスターに完全に移行されるまでにかかる予測残り時間 (分単位)該当なし該当なし
遅延ゲージを複製するbinlogを上流から下流に複製するのにかかるレイテンシー時間(秒単位)該当なし該当なし
複製ラグヒストグラムbinlogを上流から下流に複製するヒストグラム(秒単位)。統計メカニズムが異なるため、データが不正確になる可能性があることに注意してください。該当なし該当なし
プロセスはエラーありで存在しますbinlogログレプリケーションユニットはDMワーカー内でエラーに遭遇し、終了します。即時アラート致命的
マスターと同期装置間のbinlogファイルのギャップsyncer処理ユニットが上流マスターより遅れているbinlogファイルの数syncer処理ユニットが上流マスターより遅れているbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
リレーと同期の間のbinlogファイルのギャップsyncer relayより遅れているbinlogファイルの数syncer処理ユニットがrelay処理ユニットより遅れているbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogイベント QPS単位時間あたりに受信されたbinlogイベントの数 (この数にはスキップする必要があるイベントは含まれません)該当なし該当なし
スキップされたbinlogイベント QPSスキップする必要がある単位時間あたりに受信されるbinlogイベントの数該当なし該当なし
binlogイベントの期間の読み取りbinlogレプリケーションユニットがリレーログまたはアップストリームMySQLからbinlogを読み取る時間(秒単位)該当なし該当なし
binlogイベント期間を変換するbinlogレプリケーションユニットがbinlogを解析してSQL文に変換する時間(秒単位)該当なし該当なし
ディスパッチbinlogイベント期間binlogレプリケーションユニットがbinlogイベントを送信する期間(秒単位)該当なし該当なし
トランザクション実行のレイテンシーbinlogレプリケーションユニットがダウンストリームへのトランザクションを実行する期間(秒単位)該当なし該当なし
binlogイベント サイズbinlogレプリケーションユニットがリレーログまたはアップストリームMySQLから読み取るbinlogイベントのサイズ該当なし該当なし
DMLキューの残り長さ残りのDMLジョブキューの長さ該当なし該当なし
合計SQLジョブ単位時間当たりの新規追加ジョブ数該当なし該当なし
完了したSQLジョブ単位時間あたりの完了した仕事の数該当なし該当なし
ステートメント実行のレイテンシーbinlogレプリケーションユニットが下流にステートメントを実行する期間(秒単位)該当なし該当なし
ジョブ期間を追加binlogレプリケーションユニットがキューにジョブを追加する期間(秒単位)該当なし該当なし
DML競合検出期間binlogレプリケーションユニットがDMLの競合を検出する期間(秒単位)該当なし該当なし
スキップされたイベント期間binlogレプリケーションユニットがbinlogイベントをスキップする期間(秒単位)該当なし該当なし
同期されていないテーブル現在のサブタスクでシャードDDLステートメントを受け取っていないテーブルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャードDDLロックの解決を待機しているかどうか。0より大きい値は、シャードDDLロックの解決を待機していることを示します。該当なし該当なし
理想的なQPSDMの実行時間が0のときに達成できる最高のQPS該当なし該当なし
binlogイベント行binlogイベントの行数該当なし該当なし
完了した取引の合計完了した取引の合計数該当なし該当なし
レプリケーショントランザクションバッチ下流に実行されたトランザクション内のSQL行の数該当なし該当なし
フラッシュチェックポイントの時間間隔チェックポイントをフラッシュする時間間隔(秒単位)該当なし該当なし

リレーログ

注記:

現在、DM v2.0 ではリレー ログ機能の有効化はサポートされていません。

メトリック名説明警告重大度レベル
storage容量リレーログが占有するディスクのstorage容量該当なし該当なし
storage残りリレーログが占有するディスクの残りstorage容量値が10G未満になるとアラートが必要になります致命的
プロセスはエラーで終了しましたリレーログはDMワーカー内でエラーが発生し、終了します。即時アラート致命的
リレーログデータの破損破損したリレーログファイルの数即時アラート緊急
マスターからのbinlogの読み取りに失敗しましたリレーログが上流のMySQLからbinlogを読み込む際に発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗しましたリレーログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイル インデックスリレーログファイルの最大インデックス番号。たとえば、「値 = 1」は「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップアップストリームマスターの背後にあるリレーログ内のbinlogファイルの数relay処理ユニットが上流マスターより遅れているbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogPOS最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlogイベントの期間の読み取りリレーログがアップストリーム MySQL からbinlog を読み取る期間 (秒単位)該当なし該当なし
書き込みリレーログ期間リレーログが毎回ディスクにbinlogを書き込む時間(秒単位)該当なし該当なし
binlogイベント サイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

実例

Grafana ダッシュボードでは、インスタンスのデフォルト名はDM-instanceです。

リレーログ

メトリック名説明警告重大度レベル
storage容量リレーログが占有するディスクの総storage容量該当なし該当なし
storage残りリレーログが占めるディスク内の残りのstorage容量値が10G未満になるとアラートが発生します致命的
プロセスはエラーで終了しましたリレーログはDMワーカーでエラーが発生し、終了します即時アラート致命的
リレーログデータの破損破損したリレーログの数即時アラート緊急
マスターからのbinlogの読み取りに失敗しましたリレーログが上流のMySQLからbinlogを読み込む際に発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗しましたリレーログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイル インデックスリレーログファイルの最大インデックス番号。たとえば、「値 = 1」は「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelay処理ユニットが上流マスターより遅れているbinlogファイルの数relay処理ユニットが上流マスターより遅れているbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogPOS最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlogの読み取り期間リレーログがアップストリーム MySQL からbinlogを読み取る時間 (秒単位)該当なし該当なし
書き込みリレーログ期間リレーログが毎回binlogをディスクに書き込む時間(秒単位)該当なし該当なし
binlogのサイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

タスク

メトリック名説明警告重大度レベル
タスクの状態移行のサブタスクの状態サブタスクが10分以上一時停止されるとアラートが発生します致命的
読み込みの進行状況ロードユニットの完了したロードプロセスの割合。値の範囲は0%~100%です。該当なし該当なし
マスターと同期装置間のbinlogファイルのギャップbinlogレプリケーションユニットが上流マスターより遅れているbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディング DDL 移行を待機しているかどうか。0 より大きい値は、現在のサブタスクがシャーディング DDL 移行を待機していることを意味します。該当なし該当なし

このページは役に立ちましたか?