TiDB Lightningの概要
TiDB Lightning TB 規模のデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データ インポートによく使用されます。
TiDB Lightning は、次のファイル形式をサポートしています。
- Dumplingによってエクスポートされたファイル
- CSV ファイル
- Amazon Auroraによって生成された Apache Parquet ファイル
TiDB Lightning は、次のソースからデータを読み取ることができます。
TiDB Lightningアーキテクチャ
TiDB Lightning はbackend
で設定される 2 つのインポート モードをサポートします。インポート モードは、データが TiDB にインポートされる方法を決定します。
物理インポート モード : TiDB Lightning は、最初にデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出してデータを TiKV の RocksDB に挿入します。初期インポートを実行する必要がある場合は、インポート速度が速い物理インポート モードを検討してください。物理インポート モードのバックエンドは
local
です。論理インポート モード : TiDB Lightning は最初にデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートするクラスターが本番中の場合、またはインポートするターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドは
tidb
です。
インポート モード | 物理インポート モード | 論理インポート モード |
---|---|---|
バックエンド | local | tidb |
スピード | 高速 (100~500 GiB/時) | 低 (10~50 GiB/時間) |
リソース消費 | 高い | 低い |
ネットワーク帯域幅の消費 | 高い | 低い |
インポート中のACIDコンプライアンス | いいえ | はい |
対象テーブル | 空である必要があります | データを含めることができます |
TiDB クラスターのバージョン | = 4.0.0 | 全て |
インポート中に TiDB クラスターがサービスを提供できるかどうか | 限定サービス | はい |
このページは役に立ちましたか?
Playground
登録なしで TiDB の機能をワンストップでインタラクティブに体験できます。