ローカルファイルをTiDB Cloud Serverless にインポートする

ローカルファイルをTiDB Cloud Serverless に直接インポートできます。タスク構成を完了するには数回クリックするだけで、ローカル CSV データが TiDB クラスターにすばやくインポートされます。この方法を使用すると、クラウドstorageと資格情報を提供する必要がありません。インポートプロセス全体が迅速かつスムーズです。

現在、この方法では、1 つのタスクに対して 1 つの CSV ファイルを既存の空のテーブルまたは新しいテーブルにインポートすることがサポートされています。

制限事項

現在、 TiDB Cloud は1 つのタスクにつき 250 MiB 以内の CSV 形式のローカルファイルのインポートのみをサポートしています。
ローカルファイルのインポートは、 TiDB Cloud Serverless クラスターでのみサポートされ、 TiDB Cloud Dedicated クラスターではサポートされません。
複数のインポートタスクを同時に実行することはできません。

ローカルファイルをインポートする

ターゲットクラスターのインポートページを開きます。
1. TiDB Cloudコンソールにログインし、プロジェクトのクラスターページに移動します。
  ヒント：
  複数のプロジェクトがある場合は、左下隅にあるをクリックして、別のプロジェクトに切り替えます。
2. ターゲットクラスターの名前をクリックして概要ページに移動し、左側のナビゲーションペインで[インポート]をクリックします。
[インポート]ページで、ローカルファイルをアップロード領域に直接ドラッグアンドドロップするか、 [ローカルファイルのアップロード]をクリックして対象のローカルファイルを選択してアップロードすることができます。1 つのタスクにつき 250 MiB 未満の CSV ファイルを 1 つだけアップロードできることに注意してください。ローカルファイルが 250 MiB より大きい場合は、 250 MiB を超えるローカルファイルをインポートするにはどうすればよいでしょうか?参照してください。
[宛先]セクションで、ターゲットデータベースとターゲットテーブルを選択するか、名前を直接入力して新しいデータベースまたは新しいテーブルを作成します。名前には、ヌル文字\u0000と空白文字を除く Unicode BMP (Basic Multilingual Plane) の文字のみを含めることができ、長さは最大 64 文字です。 [テーブルの定義] をクリックすると、 [テーブル定義]セクションが表示されます。
表を確認してください。
設定可能なテーブル列のリストが表示されます。各行には、 TiDB Cloudによって推測されたテーブル列名、推測されたテーブル列タイプ、および CSV ファイルからプレビューされたデータが表示されます。
- TiDB Cloudの既存のテーブルにデータをインポートすると、テーブル定義から列リストが抽出され、プレビューされたデータが列名によって対応する列にマッピングされます。
- 新しいテーブルを作成する場合、CSV ファイルから列リストを抽出し、列の型をTiDB Cloudによって推測します。たとえば、プレビューされたデータがすべて整数の場合、推測される列の型は整数になります。
列名とデータ型を構成します。
CSV ファイルの最初の行に列名が記録されている場合は、デフォルトで選択されている「最初の行を列名として使用する」が選択されていることを確認します。
CSV ファイルに列名用の行がない場合は、 「最初の行を列名として使用」を選択しないでください。この場合、次のようになります。
- ターゲットテーブルがすでに存在する場合、CSV ファイル内の列が順番にターゲットテーブルにインポートされます。余分な列は切り捨てられ、不足している列にはデフォルト値が設定されます。
- TiDB Cloud を使用してターゲットテーブルを作成する必要がある場合は、各列の名前を入力します。列名は次の要件を満たす必要があります。
  - 名前は、ヌル文字\u0000と空白文字を除く Unicode BMP の文字で構成されている必要があります。
  - 名前の長さは 65 文字未満にする必要があります。
  必要に応じてデータ型を変更することもできます。
注記：
CSV ファイルをTiDB Cloudの既存のテーブルにインポートし、ターゲットテーブルにソースファイルよりも多くの列がある場合、状況に応じて余分な列が異なって処理されます。
- 追加の列が主キーまたは一意のキーでない場合は、エラーは報告されません。代わりに、これらの追加の列にはデフォルト値入力されます。
- 追加の列が主キーまたは一意のキーであり、属性auto_incrementまたはauto_random持たない場合は、エラーが報告されます。その場合は、次のいずれかの戦略を選択することをお勧めします。
  - これらの主キーまたは一意キー列を含むソースファイルを提供します。
  - ターゲットテーブルの主キーと一意キーの列を、ソースファイル内の既存の列と一致するように変更します。
  - 主キーまたは一意キー列の属性をauto_incrementまたはauto_randomに設定します。
新しいターゲットテーブルでは、主キーを設定できます。主キーとして列を選択するか、複数の列を選択して複合主キーを作成できます。複合主キーは、列名を選択した順序で形成されます。
注記：
テーブルの主キーはクラスター化インデックスであり、作成後に削除することはできません。
必要に応じて CSV 構成を編集します。
また、 「CSV 構成の編集」をクリックして、バックスラッシュエスケープ、区切り文字、および区切り文字を構成し、よりきめ細かな制御を行うこともできます。CSV 構成の詳細については、データをインポートするための CSV 構成参照してください。
[インポートの開始]をクリックします。
インポートタスクの詳細ページでインポートの進行状況を確認できます。警告や失敗したタスクがある場合は、詳細を確認して解決できます。
インポートタスクが完了したら、 [SQL エディターでデータを探索] をクリックして、インポートしたデータを照会できます。SQL エディターの使用方法の詳細については、 AI支援SQLエディターでデータを探索参照してください。
[インポート]ページで、 [アクション] 列の[... ] > [ビュー]をクリックして、インポートタスクの詳細を確認できます。

FAQ

TiDB Cloudのインポート機能を使用して、指定した列のみをインポートできますか?

いいえ。現在、インポート機能を使用する場合、CSV ファイルのすべての列を既存のテーブルにインポートすることしかできません。

指定した列のみをインポートするには、MySQL クライアントを使用して TiDB クラスターに接続し、 LOAD DATA使用してインポートする列を指定します。例:

CREATE TABLE `import_test` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(64) NOT NULL,
  `address` varchar(64) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;
LOAD DATA LOCAL INFILE 'load.txt' INTO TABLE import_test FIELDS TERMINATED BY ',' (name, address);

mysql使用していてERROR 2068 (HY000): LOAD DATA LOCAL INFILE file request rejected due to restrictions on access.遭遇した場合は、接続文字列に--local-infile=true追加できます。

TiDB Cloudにデータをインポートした後、予約キーワードを含む列をクエリできないのはなぜですか?

列名が TiDB で予約済みのキーワードである場合、列をクエリするときに、列名を囲むためにバッククォート`追加する必要があります。たとえば、列名がorder場合、 `order`を使用して列をクエリする必要があります。

250 MiB を超えるローカルファイルをインポートするにはどうすればよいでしょうか?

ファイルが 250 MiB より大きい場合は、 TiDB CloudCLI使用してファイルをインポートできます。詳細については、 ticloud serverless import start参照してください。

あるいは、 split [-l ${line_count}]ユーティリティを使用して、複数の小さなファイルに分割することもできます (Linux または macOS のみ)。たとえば、 split -l 100000 tidb-01.csv small_files実行すると、 tidb-01.csvという名前のファイルが行の長さ100000で分割され、分割されたファイルの名前はsmall_files${suffix}なります。その後、これらの小さなファイルを 1 つずつTiDB Cloudにインポートできます。

次のスクリプトを参照してください。

#!/bin/bash
n=$1
file_path=$2
file_extension="${file_path##*.}"
file_name="${file_path%.*}"
total_lines=$(wc -l < $file_path)
lines_per_file=$(( (total_lines + n - 1) / n ))
split -d -a 1 -l $lines_per_file $file_path $file_name.
for (( i=0; i<$n; i++ ))
do
    mv $file_name.$i $file_name.$i.$file_extension
done

nとファイル名を入力してスクリプトを実行します。スクリプトは元のファイル拡張子を維持しながらファイルをn均等な部分に分割します。例:

> sh ./split.sh 3 mytest.customer.csv
> ls -h | grep mytest
mytest.customer.0.csv
mytest.customer.1.csv
mytest.customer.2.csv
mytest.customer.csv