TiDBLightningの事前チェック
TiDB 5.3.0以降、TiDB Lightningには、移行タスクを実行する前に構成を確認する機能があります。デフォルトで有効になっています。この機能は、ディスク容量と実行構成の定期的なチェックを自動的に実行します。主な目的は、後続のインポートプロセス全体がスムーズに行われるようにすることです。
次の表に、各チェック項目と詳細な説明を示します。
チェック項目 | サポートされているバージョン | 説明 |
---|---|---|
クラスターのバージョンとステータス | = 5.3.0 | 構成でクラスタを接続できるかどうか、およびバックエンドモードがローカルの場合にTiKV / PD/TiFlashバージョンがローカルインポートモードをサポートしているかどうかを確認します。 |
読み取り許可 | = 5.3.0 | TiDB Lightningがクラウド(Amazon S3)に保存されているデータにアクセスできるかどうかを確認します。これにより、読み取り権限がないためにインポートが中断されないことが保証されます。 |
ディスクスペース | = 5.3.0 | ローカルディスクとTiKVクラスタにデータをインポートするための十分なスペースがあるかどうかを確認します。 TiDB Lightningはデータソースをサンプリングし、サンプル結果からインデックスサイズのパーセンテージを推定します。見積もりにはインデックスが含まれているため、ソースデータのサイズがローカルディスクの使用可能なスペースよりも小さい場合でも、チェックが失敗する場合があります。バックエンドがローカルの場合、外部ソーティングをローカルで実行する必要があるため、ローカルストレージが十分かどうかもチェックします。 TiKVクラスタスペースとローカルストレージスペース( sort-kv-dir で制御)の詳細については。 |
地域分布状況 | = 5.3.0 | TiKVクラスタのリージョンが均等に分散されているかどうか、および空のリージョンが多すぎるかどうかを確認します。空のリージョンの数がmax(1000、テーブルの数* 3)を超える場合、つまり「1000」または「テーブルの数の3倍」の大きい方よりも多い場合、インポートは実行できません。 |
データファイル内の非常に大きなCSVファイル | = 5.3.0 | バックアップファイルに10GiBを超えるCSVファイルがあり、自動スライスが有効になっていない場合(StrictFormat = false)、インポートのパフォーマンスに影響します。このチェックの目的は、データが正しい形式であることを確認し、自動スライスを有効にすることを通知することです。 |
ブレークポイントからの回復 | = 5.3.0 | このチェックにより、ブレークポイント回復プロセス中にデータベース内のソースファイルまたはスキーマに変更が加えられて、誤ったデータがインポートされないことが保証されます。 |
既存のテーブルにインポートする | = 5.3.0 | 作成済みのテーブルにインポートする場合、ソースファイルが既存のテーブルと一致するかどうかを可能な限りチェックします。列数が一致するかどうかを確認してください。ソースファイルに列名がある場合は、列名が一致するかどうかを確認してください。ソースファイルにデフォルトの列がある場合、デフォルトの列にデフォルト値があるかどうかをチェックし、ある場合はチェックに合格します。 |
ターゲットテーブルが空かどうか | = 5.3.1 | ターゲットテーブルが空でない場合、TiDBLightningはエラーで自動的に終了します。並列インポートモードが有効( incremental-import = true )の場合、このチェック項目はスキップされます。 |