Delta Lake Engine

TiDB Cloud Lake の Delta Lake エンジンを使用すると、オブジェクトストレージに保存された Delta Lake テーブル内のデータをシームレスにクエリおよび分析できます。TiDB Cloud Lake で Delta Lake エンジンを使用してテーブルを作成する際には、Delta Lake テーブルのデータファイルが保存されている場所を指定します。この設定により、TiDB Cloud Lake 内からテーブルに直接アクセスし、シームレスにクエリを実行できます。

• TiDB Cloud Lake の Delta Lake エンジンは現在、読み取り専用の操作のみをサポートしています。これは、Delta Lake テーブルからのデータのクエリはサポートされますが、テーブルへの書き込みはサポートされないことを意味します。
• Delta Lake エンジンを使用して作成されたテーブルのスキーマは、作成時に設定されます。元の Delta Lake テーブルのスキーマに変更があった場合は、同期を確実にするために、TiDB Cloud Lake 内の対応するテーブルを再作成する必要があります。
• TiDB Cloud Lake の Delta Lake エンジンは、公式の delta-rs ライブラリに基づいて構築されています。Deletion Vector、Change Data Feed、Generated Columns、Identity Columns など、delta-protocol で定義されている一部の機能は、現在このエンジンではサポートされていない点に注意してください。

構文

CREATE TABLE <table_name>
ENGINE = Delta
LOCATION = 's3://<path_to_table>'
CONNECTION_NAME = '<connection_name>'

Delta Lake エンジンを使用してテーブルを作成する前に、S3 ストレージへの接続を確立するために使用する Connection オブジェクトを作成する必要があります。TiDB Cloud Lake で Connection を作成するには、CREATE CONNECTION コマンドを使用します。

例

--Set up connection
CREATE CONNECTION my_s3_conn
STORAGE_TYPE = 's3'
ACCESS_KEY_ID ='your-ak' SECRET_ACCESS_KEY ='your-sk';

-- Create table with Delta Lake engine
CREATE TABLE test_delta
ENGINE = Delta
LOCATION = 's3://testbucket/admin/data/delta/delta-table/'
CONNECTION_NAME = 'my_s3_conn';