データ移行監視メトリクス

DMクラスタがTiUPを使用してデプロイされている場合、 監視システムも同時にデプロイされます。このドキュメントでは、DM-workerが提供する監視メトリックについて説明します。

仕事

Grafanaダッシュボードでは、DMのデフォルト名はDM-taskです。

overview

Overviewには、現在選択されているタスクのすべてのDM-workerおよびDM-masterインスタンスまたはソースの監視メトリックが含まれています。現在のデフォルトのアラートルールは、単一のDM-worker/DM-masterインスタンス/ソースのみを対象としています。

メトリック名説明アラート重大度レベル
タスクの状態移行のためのサブタスクの状態該当なし該当なし
ストレージ容量リレーログが占めるディスクの合計ストレージ容量該当なし該当なし
ストレージは残りますリレーログが占めるディスクの残りのストレージ容量該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelayの処理装置がアップストリーム・マスターの背後にあるbinlogファイルの数該当なし該当なし
ロードの進行状況ロードユニットの完了したロードプロセスのパーセンテージ。値は0%〜100%の間です該当なし該当なし
マスターとシンカー間のbinlogファイルのギャップbinlogレプリケーションユニットがアップストリームマスターの背後にあるbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディングDDL移行を待機しているかどうか。 0より大きい値は、現在のサブタスクがシャーディングDDL移行を待機していることを意味します該当なし該当なし

操作エラー

メトリック名説明アラート重大度レベル
操作エラーの前操作前のエラーの数該当なし該当なし
ソースバウンドエラーデータソースバインディング操作のエラー数該当なし該当なし
開始エラーサブタスクの開始中のエラーの数該当なし該当なし
一時停止エラーサブタスクの一時停止中のエラーの数該当なし該当なし
再開エラーサブタスクの再開中のエラーの数該当なし該当なし
自動再開エラーサブタスクの自動再開中のエラーの数該当なし該当なし
更新エラーサブタスクの更新中のエラーの数該当なし該当なし
停止エラーサブタスクの停止中のエラーの数該当なし該当なし

高可用性

メトリック名説明アラート重大度レベル
1分あたりのdm-masters開始リーダーコンポーネントの数1分あたりのリーダー関連コンポーネントを有効にするDMマスターの試行回数該当なし該当なし
異なる州の労働者の数さまざまな州のDM労働者の数一部のDMワーカーは、1時間以上オフラインになっています致命的
労働者の状態DMワーカーの状態該当なし該当なし
ワーカーイベントエラーの数さまざまなタイプのDMワーカーエラーの数該当なし該当なし
1分あたりのシャードddlエラー1分あたりのさまざまなタイプのシャーディングDDLエラーの数シャーディングDDLエラーが発生します致命的
保留中のシャードddlの数保留中のシャーディングDDL操作の数保留中のシャーディングDDL操作が1時間以上存在している致命的

タスクの状態

メトリック名説明アラート重大度レベル
タスクの状態サブタスクの状態サブタスクが20分を超えてPaused状態になっていると、アラートが発生します。致命的

ダンプ/ロードユニット

次のメトリックは、 task-modefullまたはallモードの場合にのみ表示されます。

メトリック名説明アラート重大度レベル
ロードの進行状況ロードユニットの完了したロードプロセスのパーセンテージ。値の範囲は0%〜100%です該当なし該当なし
データファイルサイズロードユニットによってインポートされた完全なデータ内のデータファイル( INSERT INTOステートメントを含む)の合計サイズ該当なし該当なし
ダンププロセスがエラーで終了しますダンプユニットはDMワーカー内でエラーに遭遇し、終了します即時アラート致命的
ロードプロセスはエラーで終了しますロードユニットはDMワーカー内でエラーに遭遇し、終了します即時アラート致命的
テーブル数ロードユニットによってインポートされた完全データ内のテーブルの総数該当なし該当なし
データファイル数ロードユニットによってインポートされた完全なデータ内のデータファイルの総数( INSERT INTOのステートメントを含む)該当なし該当なし
トランザクション実行レイテンシロードユニットによるトランザクションの実行の待機時間(秒単位)該当なし該当なし
ステートメント実行レイテンシロードユニットによるステートメントの実行時間(秒単位)該当なし該当なし
残り時間ロードユニットによるデータの複製の残り時間(秒単位)該当なし該当なし

Binlogレプリケーション

次のメトリックは、 task-modeincrementalまたはallモードの場合にのみ表示されます。

メトリック名説明アラート重大度レベル
同期する残り時間syncerがアップストリームマスターに完全に移行されるまでにかかる予測残り時間(分単位)該当なし該当なし
ラグゲージを複製するbinlogをアップストリームからダウンストリームに複製するのにかかる待ち時間(秒単位)該当なし該当なし
ラグヒストグラムを複製するbinlogをアップストリームからダウンストリームに複製するヒストグラム(秒単位)。統計メカニズムが異なるため、データが不正確になる可能性があることに注意してください該当なし該当なし
プロセスはエラーで存在しますbinlogレプリケーションユニットでDMワーカー内でエラーが発生し、終了します即時アラート致命的
マスターとシンカー間のbinlogファイルのギャップsyncerの処理装置がアップストリーム・マスターの背後にあるbinlogファイルの数syncerのプロセッシングユニットがアップストリームマスターの背後にあるbinlogファイルの数が1(> 1)を超え、状態が10分以上続くと、アラートが発生します。致命的
リレーとシンカー間のbinlogファイルのギャップsyncerrelayより遅れているbinlogファイルの数1つの処理装置がrelayの処理装置の後ろにあるbinlogファイルの数がsyncerを超え(> 1)、状態が10分以上続くと、アラートが発生します。致命的
binlogイベントQPS単位時間あたりに受信されたbinlogイベントの数(この数には、スキップする必要のあるイベントは含まれていません)該当なし該当なし
binlogイベントQPSをスキップしましたスキップする必要がある単位時間あたりに受信されたbinlogイベントの数該当なし該当なし
binlogイベント期間の読み取りbinlogレプリケーションユニットがリレーログまたはアップストリームMySQLからbinlogを読み取る期間(秒単位)該当なし該当なし
binlogイベント期間の変換binlogレプリケーションユニットがbinlogを解析してSQLステートメントに変換する期間(秒単位)該当なし該当なし
binlogイベント期間のディスパッチbinlogレプリケーションユニットがbinlogイベントをディスパッチする期間(秒単位)該当なし該当なし
トランザクション実行レイテンシbinlogレプリケーションユニットがダウンストリームへのトランザクションを実行する期間(秒単位)該当なし該当なし
binlogイベントサイズbinlogレプリケーションユニットがリレーログまたはアップストリームMySQLから読み取るbinlogイベントのサイズ該当なし該当なし
DMLキューは長さのままです残りのDMLジョブキューの長さ該当なし該当なし
総sqlsジョブ単位時間あたりに新しく追加されたジョブの数該当なし該当なし
終了したsqlsジョブ単位時間あたりの完了したジョブの数該当なし該当なし
ステートメント実行レイテンシbinlogレプリケーションユニットがダウンストリームに対してステートメントを実行する期間(秒単位)該当なし該当なし
仕事の期間を追加するbinlogレプリケーションユニットがキューにジョブを追加する期間(秒単位)該当なし該当なし
DML競合検出期間binlogレプリケーションユニットがDMLで競合を検出する期間(秒単位)該当なし該当なし
スキップされたイベント期間binlogレプリケーションユニットがbinlogイベントをスキップする期間(秒単位)該当なし該当なし
同期されていないテーブル現在のサブタスクでシャードDDLステートメントを受け取っていないテーブルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャードDDLロックの解決を待機しているかどうか。 0より大きい値は、シャードDDLロックが解決されるのを待機していることを示します該当なし該当なし
理想的なQPSDMの実行時間が0のときに達成できる最高のQPS該当なし該当なし
binlogイベント行binlogイベントの行数該当なし該当なし
完了したトランザクションの合計完了したトランザクションの総数該当なし該当なし
レプリケーショントランザクションバッチダウンストリームに対して実行されたトランザクションのSQL行の数該当なし該当なし
チェックポイントの時間間隔をフラッシュするチェックポイントをフラッシュするための時間間隔(秒単位)該当なし該当なし

リレーログ

ノート:

現在、DMv2.0はリレーログ機能の有効化をサポートしていません。

メトリック名説明アラート重大度レベル
ストレージ容量リレーログが占めるディスクのストレージ容量該当なし該当なし
ストレージは残りますリレーログが占めるディスクの残りのストレージ容量値が10G未満になると、アラートが必要になります致命的
プロセスはエラーで終了しますリレーログでDMワーカー内でエラーが発生し、終了します即時アラート致命的
リレーログデータの破損破損したリレーログファイルの数即時アラート緊急
マスターからのbinlogの読み取りに失敗するリレーログがアップストリームMySQLからbinlogを読み取るときに発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗しましたリレーログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイルインデックスリレーログファイルの最大インデックス番号。たとえば、「value = 1」は、「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップアップストリームマスターの背後にあるリレーログ内のbinlogファイルの数relayのプロセッシングユニットがアップストリームマスターの背後にあるbinlogファイルの数が1を超え(> 1)、状態が10分以上続くと、アラートが発生します。致命的
binlog pos最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlogイベント期間の読み取りリレーログがアップストリームMySQLからbinlogを読み取る期間(秒単位)該当なし該当なし
リレーログ期間の書き込みリレーログが毎回binlogをディスクに書き込む時間(秒単位)該当なし該当なし
binlogイベントサイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

実例

Grafanaダッシュボードでは、インスタンスのデフォルト名はDM-instanceです。

リレーログ

メトリック名説明アラート重大度レベル
ストレージ容量リレーログが占めるディスクの合計ストレージ容量該当なし該当なし
ストレージは残りますリレーログが占めるディスク内の残りのストレージ容量値が10G未満になると、アラートが発生します致命的
プロセスはエラーで終了しますリレーログでDM-workerでエラーが発生し、終了します即時アラート致命的
リレーログデータの破損破損したリレーログの数即時アラート緊急
マスターからのbinlogの読み取りに失敗するリレーログがアップストリームMySQLからbinlogを読み取るときに発生したエラーの数即時アラート致命的
リレーログの書き込みに失敗しましたリレーログがbinlogをディスクに書き込むときに発生したエラーの数即時アラート致命的
binlogファイルインデックスリレーログファイルの最大インデックス番号。たとえば、「value = 1」は、「relay-log.000001」を示します。該当なし該当なし
マスターとリレー間のbinlogファイルのギャップrelayの処理装置がアップストリーム・マスターの背後にあるbinlogファイルの数relayのプロセッシングユニットがアップストリームマスターの背後にあるbinlogファイルの数が1(> 1)を超え、状態が10分以上続くと、アラートが発生します。致命的
binlog pos最新のリレーログファイルの書き込みオフセット該当なし該当なし
binlog期間の読み取りリレーログがアップストリームMySQLからbinlogを読み取る期間(秒単位)該当なし該当なし
リレーログ期間の書き込みリレーログが毎回binlogをディスクに書き込む時間(秒単位)該当なし該当なし
binlogサイズリレーログがディスクに書き込む単一のbinlogイベントのサイズ該当なし該当なし

仕事

メトリック名説明アラート重大度レベル
タスクの状態移行のためのサブタスクの状態サブタスクが10分を超えて一時停止された場合、アラートが発生します致命的
ロードの進行状況ロードユニットの完了したロードプロセスのパーセンテージ。値の範囲は0%〜100%です該当なし該当なし
マスターとシンカー間のbinlogファイルのギャップbinlogレプリケーションユニットがアップストリームマスターの背後にあるbinlogファイルの数該当なし該当なし
シャードロックの解決現在のサブタスクがシャーディングDDL移行を待機しているかどうか。 0より大きい値は、現在のサブタスクがシャーディングDDL移行を待機していることを意味します該当なし該当なし

このページは役に立ちましたか?