URI Formats of External Storage Services

外部ストレージサービスの URI 形式

このドキュメントでは、Amazon S3、GCS、Azure Blob Storage などの外部storageサービスの URI 形式について説明します。

URI の基本的な形式は次のとおりです。

[scheme]://[host]/[path]?[parameters]

Amazon S3 URI 形式

scheme : s3
host : bucket name
parameters :
- access-key : アクセスキーを指定します。
- secret-access-key : 秘密アクセスキーを指定します。
- session-token : 一時セッショントークンを指定します。BRはこのパラメータをまだサポートしていません。
- use-accelerate-endpoint : Amazon S3 の高速エンドポイントを使用するかどうかを指定します (デフォルトはfalse )。
- endpoint : S3 互換サービスのカスタムエンドポイントの URL を指定します (例: <https://s3.example.com/> )。
- force-path-style : 仮想ホスト形式のアクセスではなく、パス形式のアクセスを使用します (デフォルトはtrue )。
- storage-class : アップロードされたオブジェクトのstorageクラスを指定します (たとえば、 STANDARDまたはSTANDARD_IA )。
- sse : アップロードされたオブジェクトの暗号化に使用されるサーバー側暗号化アルゴリズムを指定します (値のオプション: 空、 AES256 、またはaws:kms )。
- sse-kms-key-id : sseがaws:kmsに設定されている場合は KMS ID を指定します。
- acl : アップロードされたオブジェクトの既定 ACL を指定します (たとえば、 privateまたはauthenticated-read )。
- role-arn : 指定されたIAMロールを使用してサードパーティから Amazon S3 データにアクセスする必要がある場合は、 arn:aws:iam::888888888888:role/my-roleなどのrole-arn URL クエリパラメータを使用して、 IAMロールの対応するAmazon リソース名 (ARN)指定できます。IAM ロールを使用してIAMパーティから Amazon S3 データにアクセスする方法の詳細については、 AWS ドキュメントを参照してください。BRはまだこのパラメータをサポートしていません。
- external-id : サードパーティから Amazon S3 データにアクセスする場合、正しい外部IDを指定してIAMロール引き受ける必要がある場合があります。この場合、このexternal-id URL クエリパラメータを使用して外部 ID を指定し、 IAMロールを引き受けることができることを確認できます。外部 ID は、Amazon S3 データにアクセスするためにIAMロール ARN とともにIAMパーティによって提供される任意の文字列です。IAM ロールを引き受ける場合、外部 ID の提供はオプションです。つまり、サードパーティがIAMロールの外部 ID を必要としない場合は、このパラメータを指定せずにIAMロールを引き受け、対応する Amazon S3 データにアクセスできます。

以下は、 TiDB LightningおよびBRの Amazon S3 URI の例です。この例では、特定のファイルパスtestfolderを指定する必要があります。

s3://external/testfolder?access-key=${access-key}&secret-access-key=${secret-access-key}

以下は、TiCDC sink-uriの Amazon S3 URI の例です。

tiup cdc:v7.5.3 cli changefeed create \
    --server=http://172.16.201.18:8300 \
    --sink-uri="s3://cdc?endpoint=http://10.240.0.38:9000&access-key=${access-key}&secret-access-key=${secret-access-key}" \
    --changefeed-id="cdcTest" \
    --config=cdc_csv.toml

以下は、 IMPORT INTOの Amazon S3 URI の例です。この例では、特定のファイル名test.csvを指定する必要があります。

s3://external/test.csv?access-key=${access-key}&secret-access-key=${secret-access-key}

GCS URI 形式

scheme : gcsまたはgs
host : bucket name
parameters :
- credentials-file : 移行ツールノード上の資格情報 JSON ファイルへのパスを指定します。
- storage-class : アップロードされたオブジェクトのstorageクラスを指定します（たとえば、 STANDARDまたはCOLDLINE ）
- predefined-acl : アップロードされたオブジェクトの定義済みACLを指定します（たとえば、 privateまたはproject-private ）

以下は、 TiDB LightningおよびBRの GCS URI の例です。この例では、特定のファイルパスtestfolderを指定する必要があります。

gcs://external/testfolder?credentials-file=${credentials-file-path}

以下はIMPORT INTOの GCS URI の例です。この例では、特定のファイル名test.csvを指定する必要があります。

gcs://external/test.csv?credentials-file=${credentials-file-path}

Azure Blob Storage URI 形式

scheme : azureまたはazblob
host : container name
parameters :
- account-name :storageのアカウント名を指定します。
- account-key : アクセスキーを指定します。
- sas-token : 共有アクセス署名 (SAS) トークンを指定します。
- access-tier : アップロードされたオブジェクトのアクセス層を指定します (例: Hot 、 Cool 、 Archive 。既定値は、storageアカウントの既定のアクセス層です。
- encryption-scope : サーバー側の暗号化に暗号化範囲を指定します。
- encryption-key : AES256 暗号化アルゴリズムを使用するサーバー側暗号化の場合は暗号化キー指定します。

以下は、 BRの Azure Blob Storage URI の例です。この例では、特定のファイルパスtestfolderを指定する必要があります。

azure://external/testfolder?account-name=${account-name}&account-key=${account-key}

外部ストレージサービスの URI 形式

Amazon S3 URI 形式

GCS URI 形式

Azure Blob Storage URI 形式

このページは役に立ちましたか？