TiDB Cloud
TiDB Self-Managed
Learning Center
お問い合わせ

TiDB と Amazon AppFlow を統合する

Amazon アプリフローは、Software as a Service (SaaS) アプリケーションを AWS サービスに接続し、データを安全に転送するために使用するフルマネージド API 統合サービスです。 Amazon AppFlow を使用すると、TiDB との間で、Salesforce、Amazon S3、LinkedIn、GitHub などのさまざまなタイプのデータプロバイダーにデータをインポートおよびエクスポートできます。詳細については、AWS ドキュメントのサポートされているソースおよび宛先アプリケーション参照してください。

このドキュメントでは、TiDB を Amazon AppFlow と統合する方法について説明し、例として TiDB サーバーレスクラスターの統合を取り上げます。

TiDB クラスターがない場合は、 TiDB サーバーレスクラスターを作成できます。これは無料で、約 30 秒で作成できます。

前提条件

ステップ 1. TiDB コネクタを登録する

コードのクローンを作成する

TiDB と Amazon AppFlow の統合サンプルコードリポジトリクローンを作成します。

git clone https://github.com/pingcap-inc/tidb-appflow-integration

Lambdaを構築してアップロードする

  1. パッケージをビルドします。

    cd tidb-appflow-integration
mvn clean package

  2. (オプション) まだ設定していない場合は、AWS アクセス キー ID とシークレット アクセス キーを設定します。

    aws configure

  3. JAR パッケージを Lambda としてアップロードします。

    sam deploy --guided

    ノート：

    • --guidedオプションでは、プロンプトを使用して展開をガイドします。入力は構成ファイルに保存されます。デフォルトではsamconfig.tomlです。
    • stack_nameデプロイする AWS Lambda の名前を指定します。
    • このプロンプト ガイドでは、TiDB サーバーレスのクラウド プロバイダーとして AWS を使用します。 Amazon S3 を送信元または宛先として使用するには、AWS Lambda のregionを Amazon S3 の 1 と同じに設定する必要があります。
    • すでにsam deploy --guidedを実行している場合は、代わりにsam deploy実行するだけで済みます。SAM CLI は構成ファイルsamconfig.tomlを使用して対話を簡素化します。

    次のような出力が表示された場合、この Lambda は正常にデプロイされています。

    Successfully created/updated stack - <stack_name> in <region>

  4. AWS Lambda コンソールに移動すると、アップロードしたばかりの Lambda が表示されます。ウィンドウの右上隅で正しい領域を選択する必要があることに注意してください。

    lambda dashboard

Lambda を使用してコネクタを登録する

  1. AWS マネジメントコンソールで、 Amazon AppFlow > コネクタに移動し、 [新しいコネクタの登録]をクリックします。

    register connector

  2. [新しいコネクタの登録] ダイアログで、アップロードした Lambda 関数を選択し、コネクタ名を使用してコネクタ ラベルを指定します。

    register connector dialog

  3. 「登録」をクリックします。その後、TiDB コネクタが正常に登録されます。

ステップ 2. フローを作成する

Amazon AppFlow > フローに移動し、 [フローの作成]をクリックします。

create flow

フロー名を設定します

フロー名を入力し、 [次へ]をクリックします。

name flow

ソーステーブルと宛先テーブルを設定する

ソースの詳細と宛先の詳細を選択します。 TiDB コネクタは両方で使用できます。

  1. ソース名を選択します。このドキュメントでは、サンプル ソースとしてSalesforceを使用します。

    salesforce source

    Salesforce に登録すると、Salesforce によってサンプル データがプラットフォームに追加されます。次の手順では、ソース オブジェクトの例としてAccountオブジェクトを使用します。

    salesforce data

  2. 「接続」をクリックします。

    1. [Salesforce に接続]ダイアログで、この接続の名前を指定し、 [続行]をクリックします。

      connect to salesforce

    2. [許可]をクリックして、AWS が Salesforce データを読み取ることができることを確認します。

      allow salesforce

    ノート：

    会社がすでに Salesforce の Professional Edition を使用している場合、REST API はデフォルトでは有効になっていません。 REST API を使用するには、新しい Developer Edition の登録が必要になる場合があります。詳細については、 Salesforce フォーラムのトピックを参照してください。

  3. [宛先の詳細]領域で、宛先としてTiDB-Connectorを選択します。 「接続」ボタンが表示されます。

    tidb dest

  4. [接続]をクリックする前に、TiDB に Salesforce Accountオブジェクト用のsf_accountを作成する必要があります。このテーブル スキーマはAmazon AppFlowのチュートリアルのサンプル データとは異なることに注意してください。

    CREATE TABLE `sf_account` (
    `id` varchar(255) NOT NULL,
    `name` varchar(150) NOT NULL DEFAULT '',
    `type` varchar(150) NOT NULL DEFAULT '',
    `billing_state` varchar(255) NOT NULL DEFAULT '',
    `rating` varchar(255) NOT NULL DEFAULT '',
    `industry` varchar(255) NOT NULL DEFAULT '',
    PRIMARY KEY (`id`)
);

  5. sf_accountテーブルが作成されたら、 「接続」をクリックします。接続ダイアログが表示されます。

  6. [TiDB コネクタに接続]ダイアログで、TiDB クラスターの接続プロパティを入力します。 TiDB サーバーレス クラスターを使用する場合は、 TLSオプションをYesに設定する必要があります。これにより、TiDB コネクタが TLS 接続を使用できるようになります。次に、 「接続」をクリックします。

    tidb connection message

  7. これで、接続に指定したデータベース内のすべてのテーブルを取得できるようになりました。ドロップダウン リストからsf_accountテーブルを選択します。

    database

    次のスクリーンショットは、Salesforce Accountオブジェクトから TiDB のsf_accountテーブルにデータを転送するための設定を示しています。

    complete flow

  8. [エラー処理]領域で、 [現在のフローの実行を停止する]を選択します。 [フロー トリガー]領域で、 [オンデマンドで実行] トリガー タイプを選択します。これは、フローを手動で実行する必要があることを意味します。次に、 「次へ」をクリックします。

    complete step1

マッピングルールを設定する

Salesforce のAccountオブジェクトのフィールドを TiDB のsf_accountテーブルにマップし、 [次へ]をクリックします。

  • sf_accountテーブルは TiDB に新規作成され、空です。

    test> SELECT * FROM sf_account;
+----+------+------+---------------+--------+----------+
| id | name | type | billing_state | rating | industry |
+----+------+------+---------------+--------+----------+
+----+------+------+---------------+--------+----------+

  • マッピング ルールを設定するには、左側でソース フィールド名を選択し、右側で宛先フィールド名を選択します。次に、 [フィールドのマップ]をクリックすると、ルールが設定されます。

    add mapping rule

  • このドキュメントでは、次のマッピング ルール (ソース フィールド名 -> 宛先フィールド名) が必要です。

    • アカウントID -> ID
    • アカウント名 -> 名前
    • アカウントの種類 -> 種類
    • 請求先の州/都道府県 -> billing_state
    • アカウントの評価 -> 評価
    • 業界 -> 業界

    mapping a rule

    show all mapping rules

(オプション) フィルタを設定する

データ フィールドにフィルターを追加したい場合は、ここで設定できます。それ以外の場合は、この手順をスキップして、 「次へ」をクリックします。

filters

フローの確認と作成

作成するフローの情報を確認します。問題がなければ、 [フローの作成]をクリックします。

review

ステップ 3. フローを実行する

新しく作成したフローのページで、右上隅にある[フローの実行]をクリックします。

run flow

次のスクリーンショットは、フローが正常に実行される例を示しています。

run success

sf_accountテーブルをクエリすると、Salesforce Accountオブジェクトのレコードがテーブルに書き込まれていることがわかります。

test> SELECT * FROM sf_account;
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+
| id                 | name                                | type               | billing_state | rating | industry       |
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+
| 001Do000003EDTlIAO | Sample Account for Entitlements     | null               | null          | null   | null           |
| 001Do000003EDTZIA4 | Edge Communications                 | Customer - Direct  | TX            | Hot    | Electronics    |
| 001Do000003EDTaIAO | Burlington Textiles Corp of America | Customer - Direct  | NC            | Warm   | Apparel        |
| 001Do000003EDTbIAO | Pyramid Construction Inc.           | Customer - Channel | null          | null   | Construction   |
| 001Do000003EDTcIAO | Dickenson plc                       | Customer - Channel | KS            | null   | Consulting     |
| 001Do000003EDTdIAO | Grand Hotels & Resorts Ltd          | Customer - Direct  | IL            | Warm   | Hospitality    |
| 001Do000003EDTeIAO | United Oil & Gas Corp.              | Customer - Direct  | NY            | Hot    | Energy         |
| 001Do000003EDTfIAO | Express Logistics and Transport     | Customer - Channel | OR            | Cold   | Transportation |
| 001Do000003EDTgIAO | University of Arizona               | Customer - Direct  | AZ            | Warm   | Education      |
| 001Do000003EDThIAO | United Oil & Gas, UK                | Customer - Direct  | UK            | null   | Energy         |
| 001Do000003EDTiIAO | United Oil & Gas, Singapore         | Customer - Direct  | Singapore     | null   | Energy         |
| 001Do000003EDTjIAO | GenePoint                           | Customer - Channel | CA            | Cold   | Biotechnology  |
| 001Do000003EDTkIAO | sForce                              | null               | CA            | null   | null           |
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+

注目すべきもの

このページは役に立ちましたか？