TiDB と Amazon AppFlow を統合する
Amazon アプリフローは、Software as a Service (SaaS) アプリケーションを AWS サービスに接続し、データを安全に転送するために使用するフルマネージド API 統合サービスです。 Amazon AppFlow を使用すると、TiDB との間で、Salesforce、Amazon S3、LinkedIn、GitHub などのさまざまなタイプのデータプロバイダーにデータをインポートおよびエクスポートできます。詳細については、AWS ドキュメントのサポートされているソースおよび宛先アプリケーション参照してください。
このドキュメントでは、TiDB を Amazon AppFlow と統合する方法について説明し、例として TiDB サーバーレスクラスターの統合を取り上げます。
TiDB クラスターがない場合は、 TiDB サーバーレスクラスターを作成できます。これは無料で、約 30 秒で作成できます。
前提条件
JDK 11以上
メイビン 3.8以上
AWS CLIバージョン 2
AWS サーバーレス アプリケーション モデル コマンドライン インターフェイス (AWS SAM CLI) 1.58.0以上
次の要件を持つ AWS Identity and Access Management (IAM) ユーザー :
ユーザーはアクセスキーを使用して AWS にアクセスできます。
ユーザーには次の権限があります。
AWSCertificateManagerFullAccess: AWS シークレットマネージャー読み取りおよび書き込みに使用されます。AWSCloudFormationFullAccess: SAM CLI はAWSクラウドフォーメーションを使用して AWS リソースを宣言します。AmazonS3FullAccess: AWS CloudFormation は公開にアマゾンS3を使用します。AWSLambda_FullAccess: 現在、Amazon AppFlow の新しいコネクタを実装する唯一の方法はAWSラムダです。IAMFullAccess: SAM CLI はコネクタにConnectorFunctionRoleを作成する必要があります。
セールスフォースアカウント。
ステップ 1. TiDB コネクタを登録する
コードのクローンを作成する
TiDB と Amazon AppFlow 用に統合サンプルコードリポジトリクローンを作成します。
git clone https://github.com/pingcap-inc/tidb-appflow-integration
Lambdaを構築してアップロードする
パッケージをビルドします。
cd tidb-appflow-integration mvn clean package(オプション) まだ設定していない場合は、AWS アクセス キー ID とシークレット アクセス キーを設定します。
aws configureJAR パッケージを Lambda としてアップロードします。
sam deploy --guided注記：
--guidedオプションでは、プロンプトを使用して展開をガイドします。入力は構成ファイルに保存されます。デフォルトではsamconfig.tomlです。stack_nameデプロイする AWS Lambda の名前を指定します。- このプロンプト ガイドでは、TiDB サーバーレスのクラウド プロバイダーとして AWS を使用します。 Amazon S3 を送信元または宛先として使用するには、AWS Lambda の
regionを Amazon S3 の 1 と同じに設定する必要があります。 - すでに
sam deploy --guidedを実行している場合は、代わりにsam deploy実行するだけで済みます。SAM CLI は構成ファイルsamconfig.tomlを使用して対話を簡素化します。
次のような出力が表示された場合、この Lambda は正常にデプロイされています。
Successfully created/updated stack -in AWS Lambda コンソールに移動すると、アップロードしたばかりの Lambda が表示されます。ウィンドウの右上隅で正しい領域を選択する必要があることに注意してください。
Lambda を使用してコネクタを登録する
AWS マネジメントコンソールで、 Amazon AppFlow > コネクタに移動し、 [新しいコネクタの登録]をクリックします。
[新しいコネクタの登録] ダイアログで、アップロードした Lambda 関数を選択し、コネクタ名を使用してコネクタ ラベルを指定します。
「登録」をクリックします。その後、TiDB コネクタが正常に登録されます。
ステップ 2. フローを作成する
Amazon AppFlow > フローに移動し、 [フローの作成]をクリックします。
フロー名を設定します
フロー名を入力し、 [次へ]をクリックします。
ソーステーブルと宛先テーブルを設定する
ソースの詳細と宛先の詳細を選択します。 TiDB コネクタは両方で使用できます。
ソース名を選択します。このドキュメントでは、サンプル ソースとしてSalesforceを使用します。
Salesforce に登録すると、Salesforce によってサンプル データがプラットフォームに追加されます。次の手順では、ソース オブジェクトの例としてAccountオブジェクトを使用します。
「接続」をクリックします。
[Salesforce に接続]ダイアログで、この接続の名前を指定し、 [続行]をクリックします。
[許可]をクリックして、AWS が Salesforce データを読み取ることができることを確認します。
注記：
会社がすでに Salesforce の Professional Edition を使用している場合、REST API はデフォルトでは有効になっていません。 REST API を使用するには、新しい Developer Edition の登録が必要になる場合があります。詳細については、 Salesforce フォーラムのトピックを参照してください。
[宛先の詳細]領域で、宛先としてTiDB-Connectorを選択します。 「接続」ボタンが表示されます。
[接続]をクリックする前に、TiDB に Salesforce Accountオブジェクト用の
sf_accountを作成する必要があります。このテーブル スキーマはAmazon AppFlowのチュートリアルのサンプル データとは異なることに注意してください。CREATE TABLE `sf_account` ( `id` varchar(255) NOT NULL, `name` varchar(150) NOT NULL DEFAULT '', `type` varchar(150) NOT NULL DEFAULT '', `billing_state` varchar(255) NOT NULL DEFAULT '', `rating` varchar(255) NOT NULL DEFAULT '', `industry` varchar(255) NOT NULL DEFAULT '', PRIMARY KEY (`id`) );sf_accountテーブルが作成されたら、 「接続」をクリックします。接続ダイアログが表示されます。[TiDB コネクタに接続]ダイアログで、TiDB クラスターの接続プロパティを入力します。 TiDB サーバーレス クラスターを使用する場合は、 TLSオプションを
Yesに設定する必要があります。これにより、TiDB コネクタが TLS 接続を使用できるようになります。次に、 「接続」をクリックします。
これで、接続に指定したデータベース内のすべてのテーブルを取得できるようになりました。ドロップダウン リストからsf_accountテーブルを選択します。
次のスクリーンショットは、Salesforce Accountオブジェクトから TiDB の
sf_accountテーブルにデータを転送するための設定を示しています。
[エラー処理]領域で、 [現在のフローの実行を停止する]を選択します。 [フロー トリガー]領域で、 [オンデマンドで実行] トリガー タイプを選択します。これは、フローを手動で実行する必要があることを意味します。次に、 「次へ」をクリックします。
マッピングルールを設定する
Salesforce のAccountオブジェクトのフィールドを TiDB のsf_accountテーブルにマップし、 [次へ]をクリックします。
sf_accountテーブルは TiDB に新規作成され、空です。test> SELECT * FROM sf_account; +----+------+------+---------------+--------+----------+ | id | name | type | billing_state | rating | industry | +----+------+------+---------------+--------+----------+ +----+------+------+---------------+--------+----------+マッピング ルールを設定するには、左側でソース フィールド名を選択し、右側で宛先フィールド名を選択します。次に、 [フィールドのマップ]をクリックすると、ルールが設定されます。
このドキュメントでは、次のマッピング ルール (ソース フィールド名 -> 宛先フィールド名) が必要です。
- アカウントID -> ID
- アカウント名 -> 名前
- アカウントの種類 -> 種類
- 請求先の州/都道府県 -> billing_state
- アカウントの評価 -> 評価
- 業界 -> 業界
(オプション) フィルタを設定する
データ フィールドにフィルターを追加したい場合は、ここで設定できます。それ以外の場合は、この手順をスキップして、 「次へ」をクリックします。
フローの確認と作成
作成するフローの情報を確認します。問題がなければ、 [フローの作成]をクリックします。
ステップ 3. フローを実行する
新しく作成したフローのページで、右上隅にある[フローの実行]をクリックします。
次のスクリーンショットは、フローが正常に実行される例を示しています。
sf_accountテーブルをクエリすると、Salesforce Accountオブジェクトのレコードがテーブルに書き込まれていることがわかります。
test> SELECT * FROM sf_account;
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+
| id | name | type | billing_state | rating | industry |
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+
| 001Do000003EDTlIAO | Sample Account for Entitlements | null | null | null | null |
| 001Do000003EDTZIA4 | Edge Communications | Customer - Direct | TX | Hot | Electronics |
| 001Do000003EDTaIAO | Burlington Textiles Corp of America | Customer - Direct | NC | Warm | Apparel |
| 001Do000003EDTbIAO | Pyramid Construction Inc. | Customer - Channel | null | null | Construction |
| 001Do000003EDTcIAO | Dickenson plc | Customer - Channel | KS | null | Consulting |
| 001Do000003EDTdIAO | Grand Hotels & Resorts Ltd | Customer - Direct | IL | Warm | Hospitality |
| 001Do000003EDTeIAO | United Oil & Gas Corp. | Customer - Direct | NY | Hot | Energy |
| 001Do000003EDTfIAO | Express Logistics and Transport | Customer - Channel | OR | Cold | Transportation |
| 001Do000003EDTgIAO | University of Arizona | Customer - Direct | AZ | Warm | Education |
| 001Do000003EDThIAO | United Oil & Gas, UK | Customer - Direct | UK | null | Energy |
| 001Do000003EDTiIAO | United Oil & Gas, Singapore | Customer - Direct | Singapore | null | Energy |
| 001Do000003EDTjIAO | GenePoint | Customer - Channel | CA | Cold | Biotechnology |
| 001Do000003EDTkIAO | sForce | null | CA | null | null |
+--------------------+-------------------------------------+--------------------+---------------+--------+----------------+
注目すべきもの
- 何か問題が発生した場合は、AWS マネジメント コンソールのクラウドウォッチページに移動してログを取得できます。
- このドキュメントの手順はAmazon AppFlow カスタムコネクタ SDK を使用したカスタムコネクタの構築に基づいています。
- TiDB サーバーレス本番環境ではありません。
- 長すぎるのを防ぐために、このドキュメントの例では
Insert戦略のみを示していますが、UpdateとUpsert戦略もテストされており、使用できます。