データ移行監視メトリクス

DM クラスターがTiUPを使用してデプロイされている場合、 監視システムも同時にデプロイされます。このドキュメントでは、DM-worker によって提供される監視メトリクスについて説明します。

タスク

Grafana ダッシュボードでは、DM のデフォルト名はDM-taskです。

overview

Overviewは、現在選択されているタスク内のすべての DM ワーカーおよび DM マスターのインスタンスまたはソースの監視メトリクスが含まれます。現在のデフォルトのアラート ルールは、単一の DM ワーカー/DM マスター インスタンス/ソースのみを対象としています。

メトリクス名説明アラート重大度レベル
タスクの状態移行のサブタスクの状態該当なし該当なし
storage容量リレーログが占有するディスクの総storage容量該当なし該当なし
storageが残っているリレーログが占有するディスクの残りのstorage容量該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelayプロセッシング ユニットが上流マスターより遅れているbinlogファイルの数該当なし該当なし
ロードの進行状況ロードユニットの完了したロードプロセスの割合。値は 0% ~ 100% です該当なし該当なし
マスターとシンサーの間のbinlogファイルのギャップbinlogレプリケーションユニットがアップストリームマスターよりも遅れているbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディング DDL 移行を待機しているかどうか。 0 より大きい値は、現在のサブタスクがシャーディング DDL 移行を待機していることを意味します。該当なし該当なし

操作ミス

メトリクス名説明アラート重大度レベル
操作ミスが起こる前に操作前のエラーの数該当なし該当なし
ソースバインドエラーデータソースバインディング操作のエラー数該当なし該当なし
起動エラーサブタスクの開始時のエラーの数該当なし該当なし
一時停止エラーサブタスクの一時停止中のエラーの数該当なし該当なし
再開エラーサブタスクの再開中のエラーの数該当なし該当なし
自動再開エラーサブタスクの自動再開中のエラーの数該当なし該当なし
アップデートエラーサブタスクの更新中のエラーの数該当なし該当なし
停止エラーサブタスク停止中のエラーの数該当なし該当なし

高可用性

メトリクス名説明アラート重大度レベル
1 分あたりの dm-master 開始リーダー コンポーネントの数DM マスターがリーダー関連コンポーネントを有効にしようとする 1 分あたりの試行回数該当なし該当なし
さまざまな州の労働者の数さまざまな州の DM ワーカーの数一部の DM ワーカーが 1 時間以上オフラインになっています致命的
労働者の状態DMワーカーの状態該当なし該当なし
ワーカーイベントエラーの数さまざまなタイプの DM ワーカーエラーの数該当なし該当なし
1 分あたりのシャード DDL エラー1 分あたりのさまざまなタイプのシャーディング DDL エラーの数シャーディング DDL エラーが発生する致命的
保留中のシャード DDL の数保留中のシャーディング DDL 操作の数保留中のシャーディング DDL 操作が 1 時間以上存在している致命的

タスクの状態

メトリクス名説明アラート重大度レベル
タスクの状態サブタスクの状態サブタスクが 20 分以上Paused状態になるとアラートが発生します致命的

ダンプ/ロードユニット

次のメトリクスは、 task-mode fullまたはallモードの場合にのみ表示されます。

メトリクス名説明アラート重大度レベル
ダンプの進行状況ダンプ ユニットの完了したダンプ プロセスの割合。値の範囲は0%~100%です。該当なし該当なし
ロードの進行状況ロードユニットの完了したロードプロセスの割合。値の範囲は0%~100%です。該当なし該当なし
チェックサムの進行状況ロードユニットがダンプを完了した後に完了したチェックサムプロセスの割合。値の範囲は0%~100%です。該当なし該当なし
ロードユニットの合計バイト数ロードユニットによるインポートプロセスの解析段階、データKVの生成段階、およびインデックスKVの生成段階で処理されたバイト数該当なし該当なし
チャンクプロセスの継続時間ロード ユニットがデータ ソース ファイル チャンクを処理する時間 (秒単位)該当なし該当なし
データファイルのサイズロードユニットによってインポートされた全データ内のデータファイルの合計サイズ( INSERT INTOステートメントを含む)該当なし該当なし
ダンププロセスがエラーで終了しますダンプ ユニットは DM ワーカー内でエラーが発生し、終了します。即時アラート致命的
ロードプロセスがエラーで終了しますロード ユニットは DM ワーカー内でエラーが発生し、終了します。即時アラート致命的

Binlogレプリケーション

次のメトリクスは、 task-mode incrementalまたはallモードの場合にのみ表示されます。

メトリクス名説明アラート重大度レベル
同期までの残り時間syncerが上流マスターに完全に移行されるまでにかかる予測残り時間 (分単位)該当なし該当なし
ラグゲージを複製するbinlogをアップストリームからダウンストリームに複製するのにかかるレイテンシー(秒単位)該当なし該当なし
遅延ヒストグラムを複製する上流から下流へのbinlogの複製のヒストグラム (秒単位)。統計メカニズムが異なるため、データは不正確である可能性があることに注意してください該当なし該当なし
プロセスが存在しますがエラーが発生しますbinlogレプリケーション ユニットは DM ワーカー内でエラーが発生し、終了します。即時アラート致命的
マスターとシンサーの間のbinlogファイルのギャップsyncerプロセッシング ユニットが上流マスターより遅れているbinlogファイルの数syncerプロセッシング ユニットがアップストリーム マスターの背後にあるbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
リレーとシンサーの間のbinlogファイルのギャップsyncerrelayよりも後ろにあるbinlogファイルの数syncerプロセッシング ユニットがrelayプロセッシング ユニットより遅れているbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogイベント QPS単位時間当たりに受信したbinlogイベントの数 (この数には、スキップする必要があるイベントは含まれません)該当なし該当なし
スキップされたbinlogイベント QPSスキップする必要がある、単位時間当たりに受信したbinlogイベントの数該当なし該当なし
binlog読み取りイベント期間binlogレプリケーション ユニットがリレー ログまたはアップストリーム MySQL からbinlogを読み取る期間 (秒単位)該当なし該当なし
変換binlogイベントの期間binlogレプリケーションユニットがbinlogを解析して SQL ステートメントに変換する時間 (秒単位)該当なし該当なし
ディスパッチbinlogイベントの継続時間binlogレプリケーション ユニットがbinlogイベントを送出する期間 (秒単位)該当なし該当なし
トランザクション実行レイテンシーbinlogレプリケーションユニットがダウンストリームへのトランザクションを実行する時間(秒単位)該当なし該当なし
binlogイベントのサイズbinlogレプリケーション ユニットがリレー ログまたはアップストリーム MySQL から読み取るbinlogイベントのサイズ該当なし該当なし
DML キューの残りの長さ残りの DML ジョブ キューの長さ該当なし該当なし
SQLジョブの合計数単位時間当たりの新規追加ジョブ数該当なし該当なし
完了した SQL ジョブ単位時間あたりに完了したジョブの数該当なし該当なし
ステートメント実行のレイテンシーbinlogレプリケーション ユニットがダウンストリームに対してステートメントを実行する時間 (秒単位)該当なし該当なし
ジョブ期間を追加するbinlogレプリケーション ユニットがジョブをキューに追加する期間 (秒単位)該当なし該当なし
DML 競合検出期間binlogレプリケーションユニットが DML の競合を検出する期間 (秒単位)該当なし該当なし
スキップされたイベント期間binlogレプリケーション ユニットがbinlogイベントをスキップする期間 (秒単位)該当なし該当なし
同期されていないテーブル現在のサブタスクでシャード DDL ステートメントを受け取っていないテーブルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャード DDL ロックの解決を待機しているかどうか。 0 より大きい値は、シャード DDL ロックが解決されるのを待っていることを示します。該当なし該当なし
理想的なQPSDM の実行時間が 0 の場合に達成できる最高の QPS該当なし該当なし
binlogイベント行binlogイベントの行数該当なし該当なし
完了したトランザクションの合計完了したトランザクションの合計数該当なし該当なし
レプリケーショントランザクションバッチダウンストリームに対して実行されたトランザクション内の SQL 行の数該当なし該当なし
チェックポイントのフラッシュ時間間隔チェックポイントをフラッシュする時間間隔 (秒単位)該当なし該当なし

リレーログ

ノート:

現在、DM v2.0 はリレー ログ機能の有効化をサポートしていません。

メトリクス名説明アラート重大度レベル
storage容量リレーログが占有するディスクのstorage容量該当なし該当なし
storageが残っているリレーログが占有しているディスクの残りのstorage容量値が 10G より小さい場合はアラートが必要です致命的
プロセスがエラーで終了するリレーログは DM ワーカー内でエラーが発生し、終了します即時アラート致命的
リレーログデータの破損破損したリレーログファイルの数即時アラート緊急
マスターからのbinlogの読み取りに失敗しますリレーログが上流の MySQL からbinlogを読み取るときに発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗するリレー ログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイルのインデックスリレーログファイルの最大インデックス番号。たとえば、「value = 1」は「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップ上流マスターの背後にあるリレー ログ内のbinlogファイルの数relayプロセッシング ユニットがアップストリーム マスターの背後にあるbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogpos最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlog読み取りイベント期間リレーログが上流の MySQL からbinlogを読み取る期間 (秒単位)該当なし該当なし
書き込みリレーログ期間リレー ログが毎回ディスクにbinlogを書き込む期間 (秒単位)該当なし該当なし
binlogイベントのサイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

実例

Grafana ダッシュボードでは、インスタンスのデフォルト名はDM-instanceです。

リレーログ

メトリクス名説明アラート重大度レベル
storage容量リレーログが占有するディスクの総storage容量該当なし該当なし
storageが残っているリレーログが占有するディスク内の残りのstorage容量値が 10G より小さくなるとアラートが発生します致命的
プロセスがエラーで終了するリレー ログは DM ワーカーでエラーが発生し、終了します即時アラート致命的
リレーログデータの破損破損したリレーログの数即時アラート緊急
マスターからのbinlogの読み取りに失敗しますリレーログが上流の MySQL からbinlogを読み取るときに発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗するリレー ログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイルのインデックスリレーログファイルの最大インデックス番号。たとえば、「value = 1」は「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelayプロセッシング ユニットが上流マスターより遅れているbinlogファイルの数relayプロセッシング ユニットがアップストリーム マスターの背後にあるbinlogファイルの数が 1 を超え (>1)、その状態が 10 分以上続くと、アラートが発生します。致命的
binlogpos最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlogの読み取り期間リレーログがアップストリーム MySQL からbinlogを読み取る期間 (秒単位)該当なし該当なし
書き込みリレーログ期間リレー ログが毎回ディスクにbinlogを書き込む時間 (秒単位)該当なし該当なし
binlogサイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

タスク

メトリクス名説明アラート重大度レベル
タスクの状態移行のサブタスクの状態サブタスクが 10 分以上一時停止されるとアラートが発生します致命的
ロードの進行状況ロードユニットの完了したロードプロセスの割合。値の範囲は0%~100%です。該当なし該当なし
マスターとシンサーの間のbinlogファイルのギャップbinlogレプリケーションユニットがアップストリームマスターよりも遅れているbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディング DDL 移行を待機しているかどうか。 0 より大きい値は、現在のサブタスクがシャーディング DDL 移行を待機していることを意味します。該当なし該当なし

このページは役に立ちましたか?