TiDB Lightningの概要

TiDB Lightning TB スケールのデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データのインポートによく使用されます。

TiDB Lightning は次のファイル形式をサポートしています。

• Dumplingによってエクスポートされたファイル
• CSVファイル
• Amazon Auroraによって生成された Apache Parquet ファイル

TiDB Lightning は、次のソースからデータを読み取ることができます。

• 地元
• アマゾンS3
• Googleクラウドストレージ
• Azure Blob ストレージ

TiDB Lightningアーキテクチャ

TiDB Lightning は2 つのインポート モードをサポートしており、 backendで構成されます。インポート モードは、データを TiDB にインポートする方法を決定します。

• 物理インポートモード : TiDB Lightning は、まずデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出して TiKV の RocksDB にデータを挿入します。初期インポートを実行する必要がある場合は、インポート速度が高い物理インポート モードを検討してください。物理インポート モードのバックエンドはlocalです。

• 論理インポートモード : TiDB Lightning は、まずデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートされるクラスターが本番にある場合、またはインポートされるターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドはtidbです。