TiDB Lightningの概要
TiDB Lightning TB 規模のデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データ インポートによく使用されます。
TiDB Lightning は、次のファイル形式をサポートしています。
- Dumplingによってエクスポートされたファイル
- CSV ファイル
- Amazon Auroraによって生成された Apache Parquet ファイル
TiDB Lightning は、次のソースからデータを読み取ることができます。
TiDB Lightningアーキテクチャ
TiDB Lightning はbackendで設定される 2 つのインポート モードをサポートします。インポート モードは、データが TiDB にインポートされる方法を決定します。
物理インポート モード : TiDB Lightning は、最初にデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出してデータを TiKV の RocksDB に挿入します。初期インポートを実行する必要がある場合は、インポート速度が速い物理インポート モードを検討してください。物理インポート モードのバックエンドは
localです。論理インポート モード : TiDB Lightning は最初にデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートするクラスターが本番中の場合、またはインポートするターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドは
tidbです。
| インポート モード | 物理インポート モード | 論理インポート モード |
|---|---|---|
| バックエンド | local | tidb |
| スピード | 高速 (100~500 GiB/時) | 低 (10~50 GiB/時間) |
| リソース消費 | 高い | 低い |
| ネットワーク帯域幅の消費 | 高い | 低い |
| インポート中のACIDコンプライアンス | いいえ | はい |
| 対象テーブル | 空である必要があります | データを含めることができます |
| TiDB クラスターのバージョン | = 4.0.0 | 全て |
| インポート中に TiDB クラスターがサービスを提供できるかどうか | 限定サービス | はい |