TiDB Lightningの概要
TiDB Lightning TB スケールのデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データのインポートによく使用されます。
TiDB Lightning は次のファイル形式をサポートしています。
- Dumplingによってエクスポートされたファイル
- CSVファイル
- Amazon Auroraによって生成された Apache Parquet ファイル
TiDB Lightning は、次のソースからデータを読み取ることができます。
TiDB Lightningアーキテクチャ
TiDB Lightning は2 つのインポート モードをサポートしており、 backendで構成されます。インポート モードは、データを TiDB にインポートする方法を決定します。
物理インポートモード : TiDB Lightning は、まずデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出して TiKV の RocksDB にデータを挿入します。初期インポートを実行する必要がある場合は、インポート速度が高い物理インポート モードを検討してください。物理インポート モードのバックエンドは
localです。論理インポートモード : TiDB Lightning は、まずデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートされるクラスターが本番にある場合、またはインポートされるターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドは
tidbです。