外部ストレージ サービスの URI 形式

このドキュメントでは、Amazon S3、GCS、Azure Blob Storage などの外部storageサービスの URI 形式について説明します。

URI の基本的な形式は次のとおりです。

[scheme]://[host]/[path]?[parameters]

Amazon S3 URI 形式

• scheme ： s3

• host ： bucket name

• parameters :

  • access-key : アクセスキーを指定します。
  • secret-access-key : シークレットアクセスキーを指定します。
  • session-token : 一時セッショントークンを指定します。 BR はまだこのパラメータをサポートしていません。
  • use-accelerate-endpoint : Amazon S3 で加速エンドポイントを使用するかどうかを指定します (デフォルトはfalse )。
  • endpoint : S3 互換サービスのカスタム エンドポイントの URL を指定します (例: <https://s3.example.com/> )。
  • force-path-style : 仮想ホスト型アクセスではなく、パス型アクセスを使用します (デフォルトはtrue )。
  • storage-class : アップロードされたオブジェクトのstorageクラスを指定します (たとえば、 STANDARDまたはSTANDARD_IA )。
  • sse : アップロードされたオブジェクトの暗号化に使用されるサーバー側の暗号化アルゴリズムを指定します (値のオプション: `、 AES256 、またはaws:kms` )。
  • sse-kms-key-id : sseがaws:kmsに設定されている場合、KMS ID を指定します。
  • acl : アップロードされたオブジェクトの既定の ACL を指定します (たとえば、 privateまたはauthenticated-read )。
  • role-arn : 指定されたIAMの役割使用してサードパーティの Amazon S3 データにアクセスする必要がある場合、 role-arn URL クエリ パラメーター ( arn:aws:iam::888888888888:role/my-roleなど) を使用してIAMロールの対応するAmazon リソースネーム (ARN)指定できます。 IAMロールを使用してサードパーティから Amazon S3 データにアクセスする方法の詳細については、 AWS ドキュメントを参照してください。
  • external-id : サードパーティから Amazon S3 データにアクセスする場合、 IAMの役割想定するには正しい外部IDを指定する必要がある場合があります。この場合、このexternal-id URL クエリ パラメーターを使用して外部 ID を指定し、 IAMロールを確実に引き受けることができます。外部 ID は、Amazon S3 データにアクセスするためにIAMロール ARN とともにサードパーティによって提供される任意の文字列です。 IAMロールを引き受ける場合、外部 ID の指定はオプションです。つまり、サードパーティがIAMロールに外部 ID を必要としない場合は、このパラメータを指定せずにIAMロールを引き受けて、対応する Amazon S3 データにアクセスできます。

以下は、 TiDB LightningおよびBRの Amazon S3 URI の例です。この例では、特定のファイル パスtestfolderを指定する必要があります。

s3://external/testfolder?access-key=${access-key}&secret-access-key=${secret-access-key}

以下は、TiCDC sink-uriの Amazon S3 URI の例です。

tiup cdc:v7.5.1 cli changefeed create \
    --server=http://172.16.201.18:8300 \
    --sink-uri="s3://cdc?endpoint=http://10.240.0.38:9000&access-key=${access-key}&secret-access-key=${secret-access-key}" \
    --changefeed-id="cdcTest" \
    --config=cdc_csv.toml

以下は、 IMPORT INTOの Amazon S3 URI の例です。この例では、特定のファイル名test.csvを指定する必要があります。

s3://external/test.csv?access-key=${access-key}&secret-access-key=${secret-access-key}

GCS URI 形式

• scheme ： gcsまたはgs

• host ： bucket name

• parameters :

  • credentials-file : 移行ツール ノード上の認証情報 JSON ファイルへのパスを指定します。
  • storage-class : アップロードされたオブジェクトのstorageクラスを指定します (たとえば、 STANDARDまたはCOLDLINE )
  • predefined-acl : アップロードされたオブジェクトの事前定義された ACL を指定します (たとえば、 privateまたはproject-private )

以下は、 TiDB LightningおよびBRの GCS URI の例です。この例では、特定のファイル パスtestfolderを指定する必要があります。

gcs://external/testfolder?credentials-file=${credentials-file-path}

以下はIMPORT INTOの GCS URI の例です。この例では、特定のファイル名test.csvを指定する必要があります。

gcs://external/test.csv?credentials-file=${credentials-file-path}

Azure Blob Storage URI 形式

• scheme ： azureまたはazblob

• host ： container name

• parameters :

  • account-name :storageのアカウント名を指定します。
  • account-key : アクセスキーを指定します。
  • sas-token : Shared Access Signature (SAS) トークンを指定します。
  • access-tier : アップロードされたオブジェクトのアクセス層を指定します (たとえば、 Hot 、 Cool 、またはArchive )。デフォルト値は、storageアカウントのデフォルトのアクセス層です。
  • encryption-scope : サーバー側の暗号化に暗号化スコープを指定します。
  • encryption-key : AES256 暗号化アルゴリズムを使用するサーバー側暗号化に暗号化キー指定します。

以下は、 BRの Azure Blob Storage URI の例です。この例では、特定のファイル パスtestfolderを指定する必要があります。

azure://external/testfolder?account-name=${account-name}&account-key=${account-key}