データの挿入

このドキュメントでは、さまざまなプログラミング言語で SQL 言語を使用して TiDB にデータを挿入する方法について説明します。

始める前に

このドキュメントを読む前に、次の準備が必要です。

行を挿入する

複数行のデータを挿入するには、2 つの方法があります。たとえば、 3 人のプレーヤーのデータを挿入する必要がある場合。

  • 複数行の挿入ステートメント:

    INSERT INTO `player` (`id`, `coins`, `goods`) VALUES (1, 1000, 1), (2, 230, 2), (3, 300, 5);
  • 複数の単一行挿入ステートメント:

    INSERT INTO `player` (`id`, `coins`, `goods`) VALUES (1, 1000, 1); INSERT INTO `player` (`id`, `coins`, `goods`) VALUES (2, 230, 2); INSERT INTO `player` (`id`, `coins`, `goods`) VALUES (3, 300, 5);

一般に、 multi-line insertion statement複数のsingle-line insertion statementsよりも高速に実行されます。

  • SQL
  • Java
  • Golang
  • Python
CREATE TABLE `player` (`id` INT, `coins` INT, `goods` INT); INSERT INTO `player` (`id`, `coins`, `goods`) VALUES (1, 1000, 1), (2, 230, 2);

この SQL の使用方法の詳細については、 TiDBクラスタへの接続を参照し、クライアントを使用して TiDB クラスターに接続した後、手順に従って SQL ステートメントを入力します。

// ds is an entity of com.mysql.cj.jdbc.MysqlDataSource try (Connection connection = ds.getConnection()) { connection.setAutoCommit(false); PreparedStatement pstmt = connection.prepareStatement("INSERT INTO player (id, coins, goods) VALUES (?, ?, ?)")) // first player pstmt.setInt(1, 1); pstmt.setInt(2, 1000); pstmt.setInt(3, 1); pstmt.addBatch(); // second player pstmt.setInt(1, 2); pstmt.setInt(2, 230); pstmt.setInt(3, 2); pstmt.addBatch(); pstmt.executeBatch(); connection.commit(); } catch (SQLException e) { e.printStackTrace(); }

デフォルトの MySQL JDBCDriver設定により、一括挿入のパフォーマンスを向上させるには、いくつかのパラメーターを変更する必要があります。

パラメータ意味推奨シナリオ推奨コンフィグレーション
useServerPrepStmtsサーバー側を使用して準備済みステートメントを有効にするかどうかプリペアドステートメントを複数回使用する必要がある場合true
cachePrepStmtsクライアントが準備済みステートメントをキャッシュするかどうかuseServerPrepStmts=truetrue
prepStmtCacheSqlLimitプリペアドステートメントの最大サイズ (デフォルトで 256 文字)プリペアドステートメントが256文字を超える場合プリペアドステートメントの実際のサイズに従って構成されます
prepStmtCacheSizeプリペアドステートメントキャッシュの最大数 (デフォルトでは 25)準備済みステートメントの数が 25 を超える場合準備されたステートメントの実際の数に従って構成されます
rewriteBatchedStatementsバッチステートメントを書き換えるかどうか一括操作が必要な場合true
allowMultiQueriesバッチ操作を開始するクライアントのバグ rewriteBatchedStatements = trueuseServerPrepStmts = trueのときにこれを設定する必要があるためです。true

MySQL JDBCDriverは、 useConfigsされた構成も提供します。 maxPerformanceで構成されている場合は、一連の構成を構成することと同じです。 mysql:mysql-connector-java:8.0.28例にとると、 useConfigs=maxPerformanceには以下が含まれます。

cachePrepStmts=true cacheCallableStmts=true cacheServerConfiguration=true useLocalSessionState=true elideSetAutoCommits=true alwaysSendSetIsolation=false enableQueryTimeouts=false connectionAttributes=none useInformationSchema=true

mysql-connector-java-{version}.jar!/com/mysql/cj/configurations/maxPerformance.propertiesをチェックして、対応するバージョンの MySQL JDBC DriverのuseConfigs=maxPerformanceに含まれる構成を取得できます。

以下は、JDBC 接続文字列構成の一般的なシナリオです。この例では、ホスト: 127.0.0.1 、ポート: 4000 、ユーザー名: root 、パスワード: null、デフォルト データベース: test :

jdbc:mysql://127.0.0.1:4000/test?user=root&useConfigs=maxPerformance&useServerPrepStmts=true&prepStmtCacheSqlLimit=2048&prepStmtCacheSize=256&rewriteBatchedStatements=true&allowMultiQueries=true

Javaでの完全な例については、以下を参照してください。

package main import ( "database/sql" "strings" _ "github.com/go-sql-driver/mysql" ) type Player struct { ID string Coins int Goods int } func bulkInsertPlayers(db *sql.DB, players []Player, batchSize int) error { tx, err := db.Begin() if err != nil { return err } stmt, err := tx.Prepare(buildBulkInsertSQL(batchSize)) if err != nil { return err } defer stmt.Close() for len(players) > batchSize { if _, err := stmt.Exec(playerToArgs(players[:batchSize])...); err != nil { tx.Rollback() return err } players = players[batchSize:] } if len(players) != 0 { if _, err := tx.Exec(buildBulkInsertSQL(len(players)), playerToArgs(players)...); err != nil { tx.Rollback() return err } } if err := tx.Commit(); err != nil { tx.Rollback() return err } return nil } func playerToArgs(players []Player) []interface{} { var args []interface{} for _, player := range players { args = append(args, player.ID, player.Coins, player.Goods) } return args } func buildBulkInsertSQL(amount int) string { return "INSERT INTO player (id, coins, goods) VALUES (?, ?, ?)" + strings.Repeat(",(?,?,?)", amount-1) }

Golangでの完全な例については、以下を参照してください。

import MySQLdb connection = MySQLdb.connect( host="127.0.0.1", port=4000, user="root", password="", database="bookshop", autocommit=True ) with get_connection(autocommit=True) as connection: with connection.cursor() as cur: player_list = random_player(1919) for idx in range(0, len(player_list), 114): cur.executemany("INSERT INTO player (id, coins, goods) VALUES (%s, %s, %s)", player_list[idx:idx + 114])

Python での完全な例については、以下を参照してください。

一括挿入

大量のデータを TiDB クラスターにすばやくインポートする必要がある場合は、データ移行のためにPingCAPが提供するさまざまなツールを使用することをお勧めします。 INSERTステートメントを使用することは、効率的ではなく、例外やその他の問題を自分で処理する必要があるため、最善の方法ではありません。

一括挿入に推奨されるツールは次のとおりです。

  • データのエクスポート: Dumpling . MySQL または TiDB データをローカルまたは Amazon S3 にエクスポートできます。
  • データのインポート: TiDB Lightning . Dumpling のエクスポート データ、 CSVファイル、またはAmazon Auroraから TiDB にデータを移行するをインポートできます。また、ローカル ディスクまたは Amazon S3 クラウド ディスクからのデータの読み取りもサポートしています。
  • データの複製: TiDB データ移行 . MySQL、MariaDB、および Amazon Auroraデータベースを TiDB に複製できます。また、シャードされたインスタンスとテーブルをソース データベースからマージおよび移行することもサポートしています。
  • データのバックアップと復元: バックアップと復元 (BR) . Dumplingと比較して、 BR はビッグデータのシナリオにより適しています。
  • データのインポート: TiDB Cloudコンソールのデータ インポート タスクページ。 Dumpling のエクスポート データ、 CSVファイル、またはAmazon Auroraから TiDB にデータを移行するをインポートできます。また、ローカル ディスク、Amazon S3 クラウド ディスク、または GCS クラウド ディスクからのデータの読み取りもサポートしています。
  • データの複製: TiDB データ移行 . MySQL、MariaDB、および Amazon Auroraデータベースを TiDB に複製できます。また、シャードされたインスタンスとテーブルをソース データベースからマージおよび移行することもサポートしています。
  • データのバックアップと復元: TiDB Cloudコンソールのバックアップページ。 Dumplingと比較して、バックアップと復元はビッグ データのシナリオにより適しています。

ホットスポットを避ける

テーブルを設計するときは、多数の挿入操作があるかどうかを考慮する必要があります。その場合、テーブルの設計中にホットスポットを避ける必要があります。 主キーを選択セクションを参照し、 主キー選択時のルールに従ってください。

ホットスポットの問題を処理する方法の詳細については、 ホットスポットの問題のトラブルシューティングを参照してください。

AUTO_RANDOM主キーを持つテーブルにデータを挿入する

挿入するテーブルの主キーがAUTO_RANDOM属性の場合、デフォルトでは主キーを指定できません。たとえば、 bookshopデータベースでは、 usersテーブルidフィールドにAUTO_RANDOM属性が含まれていることがわかります。

この場合、次のような SQL を使用して挿入することはできません

INSERT INTO `bookshop`.`users` (`id`, `balance`, `nickname`) VALUES (1, 0.00, 'nicky');

エラーが発生します:

ERROR 8216 (HY000): Invalid auto random: Explicit insertion on auto_random column is disabled. Try to set @@allow_auto_random_explicit_insert = true.

挿入時にAUTO_RANDOM列を手動で指定することはお勧めしません。

このエラーを処理するには、次の 2 つの解決策があります。

  • (推奨) この列を挿入ステートメントから削除し、TiDB が初期化したAUTO_RANDOM値を使用します。これはAUTO_RANDOMのセマンティクスに適合します。

    INSERT INTO `bookshop`.`users` (`balance`, `nickname`) VALUES (0.00, 'nicky');
  • この列を指定する必要があることが確実な場合は、 SETステートメント使用して、ユーザー変数を変更することにより、挿入時にAUTO_RANDOM列を指定できるようにすることができます。

    SET @@allow_auto_random_explicit_insert = true; INSERT INTO `bookshop`.`users` (`id`, `balance`, `nickname`) VALUES (1, 0.00, 'nicky');

HTAP を使用する

TiDB では、HTAP 機能により、データを挿入するときに追加の操作を実行する必要がなくなります。追加の挿入ロジックはありません。 TiDB はデータの整合性を自動的に保証します。テーブルを作成した後、列指向のレプリカを使用してクエリ列指向のレプリカ同期をオンにする直接高速化するだけです。

このページは役に立ちましたか?

Playground
新規
登録なしで TiDB の機能をワンストップでインタラクティブに体験できます。
製品
TiDB Cloud
TiDB
価格
PoC お問い合わせ
エコシステム
TiKV
TiFlash
OSS Insight
© 2024 PingCAP. All Rights Reserved.
Privacy Policy.