TiDB Lightning Monitoring

tidb-lightningは、 プロメテウスを介したメトリック収集をサポートします。このドキュメントでは、 TiDB Lightningのモニター構成とモニターメトリックを紹介します。

モニター構成

TiDB Lightningを手動でインストールする場合は、以下の手順に従ってください。

tidb-lightningのメトリックは、発見されている限り、Prometheusによって直接収集できます。メトリックポートはtidb-lightning.tomlで設定できます。

[lightning]
# HTTP port for debugging and Prometheus metrics pulling (0 to disable)
pprof-port = 8289

...

そしてtikv-importer.tomlで：

# Listening address of the status server.
status-server-address = '0.0.0.0:8286'

サーバーを検出できるようにPrometheusを構成する必要があります。たとえば、サーバーアドレスをscrape_configsセクションに直接追加できます。

...
scrape_configs:
  - job_name: 'tidb-lightning'
    static_configs:
      - targets: ['192.168.20.10:8289']
  - job_name: 'tikv-importer'
    static_configs:
      - targets: ['192.168.20.9:8286']

Grafanaダッシュボード

Grafanaは、Prometheusメトリックをダッシュボードとして視覚化するためのWebインターフェイスです。

行1：速度

インポート速度がゼロに低下し、他のパーツが追いつくことがあります。これは正常です。

行2：進捗状況

行3：リソース

行4：割り当て

行5：読み取り速度

期間のいずれかが長すぎる場合は、 TiDB Lightningによって使用されているディスクが遅すぎるかI/Oでビジーであることを示しています。

行6：ストレージ

行7：インポート速度

モニタリング指標

このセクションでは、デフォルトのGrafanaダッシュボードでカバーされていない他のメトリックを監視する必要がある場合に、 tikv-importerとtidb-lightningの監視メトリックについて説明します。

tikv-importer

tikv-importerによって提供されるメトリックは、名前空間tikv_import_*の下にリストされます。

• tikv_import_rpc_duration （ヒストグラム）

  RPCアクションの期間中のバケット化されたヒストグラム。ラベル：

  • リクエスト：どのようなRPCが実行されるか
    • switch_mode —TiKVノードをインポート/通常モードに切り替えました
    • open_engine —エンジンファイルを開きました
    • write_engine —データを受信し、エンジンに書き込まれます
    • close_engine —エンジンファイルを閉じました
    • import_engine —エンジンファイルをTiKVクラスタにインポートしました
    • cleanup_engine —エンジンファイルを削除しました
    • compact_cluster —TiKVクラスタを明示的に圧縮しました
    • upload —SSTファイルをアップロードしました
    • ingest —SSTファイルを取り込んだ
    • compact —TiKVノードを明示的に圧縮しました
  • 結果：RPCの実行結果
    • ok
    • error

• tikv_import_write_chunk_bytes （ヒストグラム）

  TiDB Lightningから受信したKVペアのブロックの非圧縮サイズのバケット化されたヒストグラム。

• tikv_import_write_chunk_duration （ヒストグラム）

  TiDB LightningからKVペアのブロックを受信するために必要な時間のバケット化されたヒストグラム。

• tikv_import_upload_chunk_bytes （ヒストグラム）

  TiKVにアップロードされたSSTファイルのチャンクの圧縮サイズのバケット化されたヒストグラム。

• tikv_import_upload_chunk_duration （ヒストグラム）

  SSTファイルのチャンクをTiKVにアップロードするために必要な時間のバケット化されたヒストグラム。

• tikv_import_range_delivery_duration （ヒストグラム）

  一連のKVペアをdispatch-jobに配信するために必要な時間のバケット化されたヒストグラム。

• tikv_import_split_sst_duration （ヒストグラム）

  エンジンファイルから単一のSSTファイルに範囲を分割するために必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_delivery_duration （ヒストグラム）

  SSTファイルをdispatch-jobからImportSSTJobに配信するために必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_recv_duration （ヒストグラム）

  ImportSSTJobのdispatch-jobからSSTファイルを受信するために必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_upload_duration （ヒストグラム）

  SSTファイルをImportSSTJobからTiKVノードにアップロードするために必要な時間のバケット化されたヒストグラム。

• tikv_import_sst_chunk_bytes （ヒストグラム）

  TiKVノードにアップロードされたSSTファイルの圧縮サイズのバケット化されたヒストグラム。

• tikv_import_sst_ingest_duration （ヒストグラム）

  SSTファイルをTiKVに取り込むために必要な時間のバケット化されたヒストグラム。

• tikv_import_each_phase （ゲージ）

  実行フェーズを示します。可能な値は、フェーズ内で実行されていることを意味する1と、フェーズ外で実行されていることを意味する0です。ラベル：

  • フェーズimport prepare

• tikv_import_wait_store_available_count （カウンター）

  SSTファイルをアップロードするときにTiKVノードに十分なスペースがないことが検出された回数をカウントします。ラベル：

  • store_id ：TiKVストアID。

tidb-lightning

tidb-lightningによって提供されるメトリックは、名前空間lightning_*の下にリストされます。

• lightning_importer_engine （カウンター）

  開いているエンジンファイルと閉じているエンジンファイルをカウントします。ラベル：

  • タイプ：
    • open
    • closed

• lightning_idle_workers （ゲージ）

  アイドル状態のワーカーをカウントします。ラベル：

  • 名前：
    • table — table-concurrencyの余り、通常はプロセスが終了するまで0
    • index — index-concurrencyの余り、通常はプロセスが終了するまで0
    • region — region-concurrencyの余り、通常はプロセスが終了するまで0
    • io — io-concurrencyの残り、通常は構成された値（デフォルトは5）に近く、0に近い場合は、ディスクが遅すぎることを意味します
    • closed-engine —閉じられているがまだクリーンアップされていないエンジンの数。通常はインデックス+テーブル同時実行に近い（デフォルトは8）。 0に近い値は、 TiDB LightningがTiKVImporterよりも高速であることを意味します。これにより、 TiDB Lightningが停止する可能性があります。

• lightning_kv_encoder （カウンター）

  開いているKVエンコーダーと閉じているKVエンコーダーをカウントします。 KVエンコーダーは、 INSERTステートメントをKVペアに変換するメモリ内TiDBインスタンスです。正味の価値は、健全な状況で制限される必要があります。ラベル：

  • タイプ：
    • open
    • closed

• lightning_tables （カウンター）

  処理されたテーブルとそのステータスをカウントします。ラベル：

  • state ：テーブルのステータス。どのフェーズを完了する必要があるかを示します
    • pending —まだ処理されていません
    • written —エンコードおよび送信されたすべてのデータ
    • closed —対応するすべてのエンジンファイルが閉じられました
    • imported —すべてのエンジンファイルがターゲットクラスタにインポートされました
    • altered_auto_inc —AUTO_INCREMENTIDが変更されました
    • checksum —チェックサムが実行されました
    • analyzed —実行された統計分析
    • completed —テーブルは完全にインポートおよび検証されています
  • 結果：現在のフェーズの結果
    • success —フェーズは正常に完了しました
    • failure —フェーズが失敗しました（完了しませんでした）

• lightning_engines （カウンター）

  処理されたエンジンファイルの数とそのステータスをカウントします。ラベル：

  • 状態：エンジンのステータス。どのフェーズを完了する必要があるかを示します
    • pending —まだ処理されていません
    • written —エンコードおよび送信されたすべてのデータ
    • closed —エンジンファイルが閉じられました
    • imported —エンジンファイルがターゲットクラスタにインポートされました
    • completed —エンジンは完全にインポートされました
  • 結果：現在のフェーズの結果
    • success —フェーズは正常に完了しました
    • failure —フェーズが失敗しました（完了しませんでした）

• lightning_chunks （カウンター）

  処理されたチャンクの数とそのステータスをカウントします。ラベル：

  • 状態：チャンクのステータス。チャンクがどのフェーズにあるかを示します
    • estimated —（状態ではありません）この値は、現在のタスクのチャンクの総数を示します
    • pending —ロードされましたが、まだ処理されていません
    • running —データはエンコードされて送信されています
    • finished —チャンク全体が処理されました
    • failed —処理中にエラーが発生しました

• lightning_import_seconds （ヒストグラム）

  テーブルのインポートに必要な時間のバケット化されたヒストグラム。

• lightning_row_read_bytes （ヒストグラム）

  単一のSQL行のサイズのバケット化されたヒストグラム。

• lightning_row_encode_seconds （ヒストグラム）

  単一のSQL行をKVペアにエンコードするために必要な時間のバケット化されたヒストグラム。

• lightning_row_kv_deliver_seconds （ヒストグラム）

  1つのSQL行に対応するKVペアのセットを配信するために必要な時間のバケット化されたヒストグラム。

• lightning_block_deliver_seconds （ヒストグラム）

  KVペアのブロックをインポーターに配信するために必要な時間のバケット化されたヒストグラム。

• lightning_block_deliver_bytes （ヒストグラム）

  インポーターに配信されたKVペアのブロックの非圧縮サイズのバケット化されたヒストグラム。

• lightning_chunk_parser_read_block_seconds （ヒストグラム）

  データファイルパーサーがブロックを読み取るために必要な時間のバケット化されたヒストグラム。

• lightning_checksum_seconds （ヒストグラム）

  テーブルのチェックサムを計算するために必要な時間のバケット化されたヒストグラム。

• lightning_apply_worker_seconds （ヒストグラム）

  アイドル状態のワーカーを取得するために必要な時間のバケット化されたヒストグラム（ lightning_idle_workersゲージも参照）。ラベル：

  • 名前：
    • table
    • index
    • region
    • io
    • closed-engine