重要
このページは英語版のページを機械翻訳しています。原文はこちらからご覧ください。

Amazon S3 または GCS からTiDB Cloudへのインポートまたは移行

このドキュメントでは、データをTiDB Cloudにインポートまたは移行するためのステージング領域として Amazon Simple Storage Service (Amazon S3) または Google Cloud Storage (GCS) を使用する方法について説明します。

ノート:

アップストリーム データベースが Amazon Aurora MySQL の場合は、このドキュメントを参照する代わりに、 Amazon Aurora MySQL からTiDB Cloudに一括移行するの手順に従ってください。

Amazon S3 からTiDB Cloudへのインポートまたは移行

組織が AWS のサービスとしてTiDB Cloudを使用している場合、 TiDB Cloudにデータをインポートまたは移行するためのステージング領域として Amazon S3 を使用できます。

前提条件

Amazon S3 からTiDB Cloudにデータを移行する前に、企業所有の AWS アカウントへの管理者アクセス権があることを確認してください。

ステップ 1.Amazon S3 バケットを作成し、ソースデータファイルを準備する

  1. 企業所有の AWS アカウントで Amazon S3 バケットを作成します。

    詳細については、AWS ユーザーガイドのバケットの作成を参照してください。

    ノート:

    エグレス料金とレイテンシーを最小限に抑えるには、Amazon S3 バケットとTiDB Cloudデータベースクラスタを同じリージョンに作成します。

  2. アップストリーム データベースからデータを移行する場合は、最初にソース データをエクスポートする必要があります。

    詳細については、 MySQL 互換データベースからデータを移行するを参照してください。

  3. ソース データがローカル ファイルにある場合は、Amazon S3 コンソールまたは AWS CLI を使用してファイルを Amazon S3 バケットにアップロードできます。

    • Amazon S3 コンソールを使用してファイルをアップロードするには、AWS ユーザーガイドのオブジェクトのアップロードを参照してください。

    • AWS CLI を使用してファイルをアップロードするには、次のコマンドを使用します。

      aws s3 sync <Local path> <Amazon S3 bucket URL>
      

      例えば:

      aws s3 sync ./tidbcloud-samples-us-west-2/ s3://tidb-cloud-source-data
      

ノート:

  • ソース データをTiDB Cloudでサポートされているファイル形式にコピーできることを確認してください。サポートされている形式には、CSV、Dumpling、およびAuroraバックアップ スナップショットが含まれます。ソース ファイルが CSV 形式の場合は、 TiDB がサポートする命名規則に従う必要があります。
  • 可能な場合は、大きなソース ファイルを最大サイズ 256 MB の小さなファイルに分割することをお勧めします。これにより、 TiDB Cloudはスレッド間でファイルを並行して読み取ることができるため、インポートのパフォーマンスが向上する可能性があります。

ステップ 2.Amazon S3 アクセスを構成する

TiDB Cloudが Amazon S3 バケットのソース データにアクセスできるようにするには、 TiDB Cloudのバケット アクセスを設定し、Role-ARN を取得する必要があります。プロジェクト内の 1 つの TiDBクラスタの設定が完了すると、そのプロジェクト内のすべての TiDB クラスターが同じ Role-ARN を使用して Amazon S3 バケットにアクセスできるようになります。

詳細な手順については、 Amazon S3 アクセスの構成を参照してください。

ステップ 3. データをTiDB Cloudにインポートする

  1. [データ インポート タスク] ページで、[ロール ARN]フィールドに加えて、次の情報も入力する必要があります。

    • データ ソースの種類: AWS S3
    • バケット URL : ソース データのバケット URL を入力します。
    • データ形式: データの形式を選択します。
    • ターゲット クラスタ: [ユーザー名]および [パスワード] フィールドに入力します。
    • DB/Tables Filter : 必要に応じてテーブル フィルターを指定できます。複数のフィルター ルールを構成する場合は、 ,を使用してルールを区切ります。
  2. [**インポート]**をクリックします。

    データベース リソースの消費に関する警告メッセージが表示されます。

  3. [**確認]**をクリックします。

    TiDB Cloudは、指定されたバケット URL のデータにアクセスできるかどうかの検証を開始します。検証が完了して成功すると、インポート タスクが自動的に開始されます。 AccessDeniedエラーが発生した場合は、 S3 からのデータ インポート中のアクセス拒否エラーのトラブルシューティングを参照してください。

データがインポートされた後、 TiDB Cloudの Amazon S3 アクセスを削除する場合は、 ステップ 2.Amazon S3 アクセスを構成するで追加したポリシーを削除するだけです。

GCS からTiDB Cloudへのインポートまたは移行

組織が Google Cloud Platform (GCP) 上のサービスとしてTiDB Cloudを使用している場合、 TiDB Cloudにデータをインポートまたは移行するためのステージング領域として Google Cloud Storage (GCS) を使用できます。

前提条件

GCS からTiDB Cloudにデータを移行する前に、次のことを確認してください。

  • 企業所有の GCP アカウントへの管理者アクセス権があります。
  • TiDB Cloud管理ポータルへの管理者アクセス権があります。

ステップ 1. GCS バケットを作成し、ソースデータ ファイルを準備する

  1. 企業所有の GCP アカウントに GCS バケットを作成します。

    詳細については、Google Cloud Storage ドキュメントのストレージ バケットの作成を参照してください。

  2. アップストリーム データベースからデータを移行する場合は、最初にソース データをエクスポートする必要があります。

    詳細については、 TiUPをインストールするおよびMySQL 互換データベースからデータをエクスポートするを参照してください。

ノート:

  • ソース データをTiDB Cloudでサポートされているファイル形式にコピーできることを確認してください。サポートされている形式には、CSV、Dumpling、およびAuroraバックアップ スナップショットが含まれます。ソース ファイルが CSV 形式の場合は、 TiDB がサポートする命名規則に従う必要があります。
  • 可能な場合は、大きなソース ファイルを最大サイズ 256 MB の小さなファイルに分割することをお勧めします。これにより、 TiDB Cloudがスレッド間でファイルを並行して読み取ることができ、インポートのパフォーマンスが向上します。

ステップ 2.GCS アクセスを構成する

TiDB クラウドが GCS バケット内のソース データにアクセスできるようにするには、GCP プロジェクトと GCS バケット ペアのサービスとして各TiDB Cloudの GCS アクセスを構成する必要があります。プロジェクト内の 1 つのクラスタの構成が完了すると、そのプロジェクト内のすべてのデータベース クラスタが GCS バケットにアクセスできるようになります。

詳細な手順については、 GCS アクセスの構成を参照してください。

ステップ 3. ソース データ ファイルを GCS にコピーし、データをTiDB Cloudにインポートする

  1. ソース データ ファイルを GCS バケットにコピーするには、Google Cloud Console または gsutil を使用してデータを GCS バケットにアップロードします。

    • Google Cloud Console を使用してデータをアップロードするには、Google Cloud Storage ドキュメントのストレージ バケットの作成を参照してください。

    • gsutil を使用してデータをアップロードするには、次のコマンドを使用します。

      gsutil rsync -r <Local path> <GCS URL>
      

      例えば:

      gsutil rsync -r ./tidbcloud-samples-us-west-2/ gs://target-url-in-gcs
      
  2. TiDB Cloudコンソールから TiDB クラスター ページに移動し、ターゲットクラスタの名前をクリックして、独自の概要ページに移動します。右上隅にある [データのインポート] をクリックし、[データのインポート タスク] ページでインポート関連の情報を入力します。

ノート:

送信料金とレイテンシを最小限に抑えるには、GCS バケットとTiDB Cloudデータベースクラスタを同じリージョンに配置します。