在 Stage 中查询 Parquet 文件

语法

• 将行查询为 Variant
• 按名称查询列
• 查询元信息

教程

第 1 步：创建外部 Stage

使用你自己的 S3 存储桶和凭证创建一个外部 stage，用于存储你的 Parquet 文件。

CREATE STAGE parquet_query_stage
URL = 's3://load/parquet/'
CONNECTION = (
    ACCESS_KEY_ID = '<your-access-key-id>'
    SECRET_ACCESS_KEY = '<your-secret-access-key>'
);

第 2 步：创建自定义 Parquet 文件格式

CREATE FILE FORMAT parquet_query_format TYPE = PARQUET;

• 更多 Parquet 文件格式选项，请参见 Parquet 文件格式选项

第 3 步：查询 Parquet 文件

使用列名进行查询：

SELECT *
FROM @parquet_query_stage
(
    FILE_FORMAT => 'parquet_query_format',
    PATTERN => '.*[.]parquet'
);

使用路径表达式进行查询：

SELECT $1
FROM @parquet_query_stage
(
    FILE_FORMAT => 'parquet_query_format',
    PATTERN => '.*[.]parquet'
);

使用元信息进行查询

直接从 stage 查询 Parquet 文件，包括 METADATA$FILENAME 和 METADATA$FILE_ROW_NUMBER 等元信息列：

SELECT
    METADATA$FILENAME,
    METADATA$FILE_ROW_NUMBER,
    *
FROM @parquet_query_stage
(
    FILE_FORMAT => 'parquet_query_format',
    PATTERN => '.*[.]parquet'
);