stage 内の TSV ファイルをクエリする

このガイドでは、stage から TSV（TiDB Cloud Lake v1.2.890-nightly 以降では TEXT と呼ばれます）ファイルをクエリします。例では、古いサーバーバージョンとの互換性のために TSV を使用しています。

構文

• 位置でカラムをクエリする
• メタデータのクエリ

チュートリアル

ステップ 1. 外部 stage を作成する

TSV ファイルが保存されている独自の S3 バケットと認証情報を使用して外部 stage を作成します。

CREATE STAGE tsv_query_stage
URL = 's3://load/tsv/'
CONNECTION = (
    ACCESS_KEY_ID = '<your-access-key-id>'
    SECRET_ACCESS_KEY = '<your-secret-access-key>'
);

ステップ 2. カスタム TSV ファイル形式を作成する

CREATE FILE FORMAT tsv_query_format
    TYPE = TSV,
    RECORD_DELIMITER = '\n',
    FIELD_DELIMITER = ',',
    COMPRESSION = AUTO;

• TSV ファイル形式のその他のオプションについては、TSV ファイル形式オプション を参照してください

ステップ 3. TSV ファイルをクエリする

SELECT $1, $2, $3
FROM @tsv_query_stage
(
    FILE_FORMAT => 'tsv_query_format',
    PATTERN => '.*[.]tsv'
);

TSV ファイルが gzip で圧縮されている場合は、次のクエリを使用できます。

SELECT $1, $2, $3
FROM @tsv_query_stage
(
    FILE_FORMAT => 'tsv_query_format',
    PATTERN => '.*[.]tsv[.]gz'
);

メタデータ付きでクエリする

METADATA$FILENAME や METADATA$FILE_ROW_NUMBER などのメタデータカラムを含めて、stage から TSV ファイルを直接クエリします。

SELECT
    METADATA$FILENAME,
    METADATA$FILE_ROW_NUMBER,
    $1, $2, $3
FROM @tsv_query_stage
(
    FILE_FORMAT => 'tsv_query_format',
    PATTERN => '.*[.]tsv'
);