TiDB Lightningの概要
TiDB Lightning TB スケールのデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データのインポートによく使用されます。
TiDB Lightning は次のファイル形式をサポートしています。
- Dumplingによってエクスポートされたファイル
- CSVファイル
- Amazon Auroraによって生成された Apache Parquet ファイル
TiDB Lightning は、次のソースからデータを読み取ることができます。
TiDB Lightningアーキテクチャ
TiDB Lightning は2 つのインポート モードをサポートしており、 backendで構成されます。インポート モードは、データを TiDB にインポートする方法を決定します。
物理インポートモード : TiDB Lightning は、まずデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出して TiKV の RocksDB にデータを挿入します。初期インポートを実行する必要がある場合は、インポート速度が高い物理インポート モードを検討してください。物理インポート モードのバックエンドは
localです。論理インポートモード : TiDB Lightning は、まずデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートされるクラスターが本番にある場合、またはインポートされるターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドは
tidbです。
| インポートモード | 物理インポートモード | 論理インポートモード |
|---|---|---|
| バックエンド | local | tidb |
| スピード | 高速 (100 ～ 500 GiB/時間) | 低 (10 ～ 50 GiB/時間) |
| 資源の消費 | 高い | 低い |
| ネットワーク帯域幅の消費量 | 高い | 低い |
| インポート時のACID準拠 | いいえ | はい |
| ターゲットテーブル | 空でなければなりません | データを含めることができる |
| TiDB クラスターのバージョン | = 4.0.0 | 全て |
| TiDB クラスターがインポート中にサービスを提供できるかどうか | 限定サービス | はい |