TiDB Lightningモニタリング

tidb-lightningはプロメテウスを介したメトリクス コレクションをサポートします。このドキュメントでは、 TiDB Lightningの監視構成と監視メトリクスを紹介します。

モニター構成

TiDB Lightningを手動でインストールする場合は、以下の手順に従ってください。

tidb-lightningのメトリックは、Prometheus が検出される限り、Prometheus によって直接収集できます。 tidb-lightning.tomlでメトリクス ポートを設定できます。

[lightning]
# HTTP port for debugging and Prometheus metrics pulling (0 to disable)
pprof-port = 8289

...

そしてtikv-importer.tomlで：

# Listening address of the status server.
status-server-address = '0.0.0.0:8286'

サーバーを検出するように Prometheus を構成する必要があります。たとえば、サーバーアドレスをscrape_configsセクションに直接追加できます。

...
scrape_configs:
  - job_name: 'tidb-lightning'
    static_configs:
      - targets: ['192.168.20.10:8289']
  - job_name: 'tikv-importer'
    static_configs:
      - targets: ['192.168.20.9:8286']

Grafana ダッシュボード

グラファナは、Prometheus メトリクスをダッシュボードとして視覚化するための Web インターフェイスです。

行 1: 速度

場合によっては、インポート速度がゼロになり、他のパーツが追いつくことがあります。これは正常です。

行 2: 進行状況

行 3: リソース

行 4: クォータ

行 5: 読み取り速度

いずれかの期間が長すぎる場合は、 TiDB Lightningが使用するディスクが遅すぎるか、I/O でビジーであることを示しています。

行 6: ストレージ

行 7: インポート速度

指標のモニタリング

このセクションでは、デフォルトの Grafana ダッシュボードでカバーされていない他のメトリックを監視する必要がある場合に、 tikv-importerとtidb-lightningの監視メトリックについて説明します。

tikv-importer

tikv-importerによって提供されるメトリックは、名前空間tikv_import_*の下にリストされます。

• tikv_import_rpc_duration (ヒストグラム)

  RPC アクションの期間のバケット化されたヒストグラム。ラベル:

  • request : 実行される RPC の種類
    • switch_mode : TiKV ノードをインポート/通常モードに切り替えました
    • open_engine : エンジン ファイルを開きました
    • write_engine : データを受信し、エンジンに書き込む
    • close_engine : エンジン ファイルを閉じました
    • import_engine : エンジン ファイルを TiKV クラスターにインポートしました
    • cleanup_engine : エンジン ファイルを削除しました
    • compact_cluster : TiKV クラスターを明示的に圧縮しました
    • upload : SST ファイルをアップロードしました
    • ingest : SST ファイルを取り込みました
    • compact : TiKV ノードを明示的に圧縮
  • result : RPC の実行結果
    • ok
    • error

• tikv_import_write_chunk_bytes (ヒストグラム)

  TiDB TiDB Lightningから受信した KV ペアのブロックの圧縮されていないサイズのバケット化されたヒストグラム。

• tikv_import_write_chunk_duration (ヒストグラム)

  TiDB TiDB Lightningから KV ペアのブロックを受信するのに必要な時間のバケット化されたヒストグラム。

• tikv_import_upload_chunk_bytes (ヒストグラム)

  TiKV にアップロードされた SST ファイルのチャンクの圧縮サイズのバケット化されたヒストグラム。

• tikv_import_upload_chunk_duration (ヒストグラム)

  SST ファイルのチャンクを TiKV にアップロードするのに必要な時間のバケット化されたヒストグラム。

• tikv_import_range_delivery_duration (ヒストグラム)

  KV ペアの範囲をdispatch-jobに配信するのに必要な時間のバケット化されたヒストグラム。

• tikv_import_split_sst_duration (ヒストグラム)

  エンジン ファイルの範囲を 1 つの SST ファイルに分割するのに必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_delivery_duration (ヒストグラム)

  SST ファイルをdispatch-jobからImportSSTJobに配信するのに必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_recv_duration (ヒストグラム)

  dispatch-job in a ImportSSTJobから SST ファイルを受信するのに必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_upload_duration (ヒストグラム)

  ImportSSTJobから TiKV ノードに SST ファイルをアップロードするのに必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_chunk_bytes (ヒストグラム)

  TiKV ノードにアップロードされた SST ファイルの圧縮サイズのバケット化されたヒストグラム。

• tikv_import_sst_ingest_duration (ヒストグラム)

  SST ファイルを TiKV に取り込むのに必要な時間のバケット化されたヒストグラム。

• tikv_import_each_phase (ゲージ)

  実行フェーズを示します。可能な値は、フェーズ内で実行中を意味する 1 と、フェーズ外で実行中を意味する 0 です。ラベル:

  • フェーズ: prepare / import

• tikv_import_wait_store_available_count (カウンター)

  SST ファイルのアップロード時に、TiKV ノードに十分なスペースがないことが判明した回数をカウントします。ラベル:

  • store_id : TiKV ストア ID。

tidb-lightning

tidb-lightningによって提供されるメトリックは、名前空間lightning_*の下にリストされます。

• lightning_importer_engine (カウンター)

  開いているエンジン ファイルと閉じているエンジン ファイルをカウントします。ラベル:

  • タイプ:
    • open
    • closed

• lightning_idle_workers (ゲージ)

  アイドル ワーカーをカウントします。ラベル:

  • 名前:
    • table : table-concurrencyの余り、通常はプロセスの最後まで 0
    • index : index-concurrencyの余り、通常はプロセスの最後まで 0
    • region : region-concurrencyの余り、通常はプロセスの最後まで 0
    • io : io-concurrencyの余り。通常は構成された値 (デフォルトの 5) に近く、0 に近い場合はディスクが遅すぎることを意味します。
    • closed-engine : クローズされたがまだクリーンアップされていないエンジンの数。通常は index + table-concurrency (デフォルト 8) に近い値です。 0 に近い値は、 TiDB Lightningが TiKV Importer よりも高速であることを意味し、 TiDB Lightningが停止する可能性があります

• lightning_kv_encoder (カウンター)

  開いている KV エンコーダと閉じている KV エンコーダをカウントします。 KV エンコーダーは、SQL INSERTステートメントを KV ペアに変換するメモリ内の TiDB インスタンスです。正味の値は、健全な状況で制限する必要があります。ラベル:

  • タイプ:
    • open
    • closed

• lightning_tables (カウンター)

  処理されたテーブルとそのステータスをカウントします。ラベル:

  • state : どのフェーズを完了する必要があるかを示す、テーブルのステータス
    • pending : 未処理
    • written : すべてのデータをエンコードして送信
    • closed : 対応するすべてのエンジン ファイルが閉じられている
    • imported : すべてのエンジン ファイルがターゲット クラスターにインポートされました
    • altered_auto_inc : AUTO_INCREMENT ID が変更されました
    • checksum : チェックサムを実行
    • analyzed : 統計分析が実行されました
    • completed : テーブルは完全にインポートされ、検証されました
  • result : 現在のフェーズの結果
    • success : フェーズは正常に完了しました
    • failure : フェーズは失敗しました (完了しませんでした)

• lightning_engines (カウンター)

  処理されたエンジン ファイルの数とそのステータスをカウントします。ラベル:

  • state : エンジンのステータス。どのフェーズを完了する必要があるかを示します
    • pending : 未処理
    • written : すべてのデータをエンコードして送信
    • closed : エンジン ファイルが閉じられている
    • imported : エンジン ファイルはターゲット クラスタにインポートされました
    • completed : エンジンは完全にインポートされました
  • result : 現在のフェーズの結果
    • success : フェーズは正常に完了しました
    • failure : フェーズは失敗しました (完了しませんでした)

• lightning_chunks (カウンター)

  処理されたチャンクの数とそのステータスをカウントします。ラベル:

  • state : チャンクのステータス。チャンクがどのフェーズにあるかを示します
    • estimated : (状態ではありません) この値は、現在のタスクのチャンクの総数を示します
    • pending : ロードされていますが、まだ処理されていません
    • running : データはエンコードされて送信されています
    • finished : チャンク全体が処理されました
    • failed : 処理中にエラーが発生しました

• lightning_import_seconds (ヒストグラム)

  テーブルのインポートに必要な時間のバケット化されたヒストグラム。

• lightning_row_read_bytes (ヒストグラム)

  単一の SQL 行のサイズのバケット化されたヒストグラム。

• lightning_row_encode_seconds (ヒストグラム)

  1 つの SQL 行を KV ペアにエンコードするのに必要な時間のバケット化されたヒストグラム。

• lightning_row_kv_deliver_seconds (ヒストグラム)

  1 つの SQL 行に対応する一連の KV ペアを配信するのに必要な時間のバケット化されたヒストグラム。

• lightning_block_deliver_seconds (ヒストグラム)

  KV ペアのブロックを Importer に配信するのに必要な時間のバケット化されたヒストグラム。

• lightning_block_deliver_bytes (ヒストグラム)

  Importer に配信される KV ペアのブロックの圧縮されていないサイズのバケット化されたヒストグラム。

• lightning_chunk_parser_read_block_seconds (ヒストグラム)

  データ ファイル パーサーがブロックを読み取るのに必要な時間のバケット化されたヒストグラム。

• lightning_checksum_seconds (ヒストグラム)

  テーブルのチェックサムの計算に必要な時間のバケット化されたヒストグラム。

• lightning_apply_worker_seconds (ヒストグラム)

  アイドル状態のワーカーを取得するのに必要な時間のバケット化されたヒストグラム ( lightning_idle_workersゲージも参照)。ラベル:

  • 名前:
    • table
    • index
    • region
    • io
    • closed-engine