TiDB 7.3.0 リリースノート

発売日：2023年8月14日

TiDB バージョン: 7.3.0

クイックアクセス: クイックスタート | インストールパッケージ

7.3.0 では、次の主な機能が導入されています。それに加えて、7.3.0 には、TiDBサーバーとTiFlashの安定性をクエリするための一連の機能拡張 ( 機能の詳細セクションで説明) も含まれています。これらの拡張機能は本質的にさまざまであり、ユーザー向けではないため、次の表には含まれていません。

機能の詳細

パフォーマンス

• TiFlash は、レプリカ選択戦略#44106 @ 徐淮嶼をサポートしています。

  v7.3.0 より前では、 TiFlash はパフォーマンスを最大化するために、データ スキャンと MPP 計算にすべてのノードのレプリカを使用します。 v7.3.0 以降、 TiFlash にはレプリカ選択戦略が導入され、 tiflash_replica_readシステム変数を使用して構成できるようになりました。この戦略は、 ゾーン属性つのノードに基づいて特定のレプリカを選択し、データ スキャンと MPP 計算のために特定のノードをスケジュールすることをサポートします。

  複数のデータ センターに展開され、各データ センターに完全なTiFlashデータ レプリカがあるクラスターの場合、現在のデータ センターからTiFlashレプリカのみを選択するようにこの戦略を構成できます。これは、データ スキャンと MPP 計算が現在のデータ センター内のTiFlashノードでのみ実行されることを意味し、データ センター間での過剰なネットワーク データ送信が回避されます。

  詳細については、 ドキュメンテーションを参照してください。

• TiFlash はノード#40220 @ エルサ0520内のランタイム フィルターをサポートします

  ランタイム フィルターは、クエリ計画フェーズ中に生成される動的な述語です。テーブル結合のプロセスにおいて、これらの動的述語は結合条件を満たさない行を効果的に除外し、スキャン時間とネットワーク オーバーヘッドを削減し、テーブル結合の効率を向上させることができます。 v7.3.0 以降、 TiFlash はノード内のランタイム フィルターをサポートし、分析クエリの全体的なパフォーマンスを向上させます。一部の TPC-DS ワークロードでは、パフォーマンスが 10% ～ 50% 向上する可能性があります。

  この機能は、v7.3.0 ではデフォルトで無効になっています。この機能を有効にするには、システム変数tidb_runtime_filter_modeからLOCALを設定します。

  詳細については、 ドキュメンテーションを参照してください。

• TiFlash は、共通テーブル式 (CTE) の実行をサポートしています (実験的) #43333 @ ウィノロス

  v7.3.0 より前では、 TiFlashの MPP エンジンは、デフォルトでは CTE を含むクエリを実行できません。 MPP フレームワーク内で最高の実行パフォーマンスを達成するには、システム変数tidb_opt_force_inline_cteを使用してインライン CTE を強制する必要があります。

  v7.3.0 以降、TiFlash の MPP エンジンは、インライン化せずに CTE を使用したクエリの実行をサポートし、MPP フレームワーク内で最適なクエリの実行を可能にします。 TPC-DS ベンチマーク テストでは、CTE のインライン化と比較して、この機能により、CTE を含むクエリの全体的なクエリ実行速度が 20% 向上することが示されました。

  この機能は実験的であり、デフォルトでは無効になっています。これはシステム変数tidb_opt_enable_mpp_shared_cte_executionによって制御されます。

信頼性

• 新しいオプティマイザー ヒント#45520 @ qw4990を追加

  v7.3.0 では、TiDB は、テーブル間の結合方法を制御するために、次のようないくつかの新しいオプティマイザー ヒントを導入します。

  • NO_MERGE_JOIN()はマージ結合以外の結合方法を選択します。
  • NO_INDEX_JOIN()指定すると、インデックスのネストされたループ結合以外の結合方法が選択されます。
  • NO_INDEX_MERGE_JOIN()指定すると、インデックスネストループマージ結合以外の結合方法が選択されます。
  • NO_HASH_JOIN()はハッシュ結合以外の結合方法を選択します。
  • NO_INDEX_HASH_JOIN() インデックスのネストされたループのハッシュ結合以外の結合方法を選択します。

  詳細については、 ドキュメンテーションを参照してください。

• 予想を超えるリソースを使用するクエリに手動でマークを付ける (実験的) #43691 @ コナー1996 @ キャビンフィーバーB

  v7.2.0 では、TiDB は、暴走クエリを自動的にダウングレードまたはキャンセルすることにより、予想を超えるリソースを使用するクエリ (暴走クエリ) を自動的に管理します。実際には、ルールだけですべてのケースをカバーできるわけではありません。したがって、TiDB v7.3.0 では、暴走クエリを手動でマークする機能が導入されています。新しいコマンドQUERY WATCHを使用すると、SQL テキスト、SQL ダイジェスト、または実行計画に基づいて暴走クエリをマークでき、マークされた暴走クエリをダウングレードまたはキャンセルできます。

  この機能は、データベースの突然のパフォーマンス問題に対する効果的な介入方法を提供します。クエリによって引き起こされるパフォーマンスの問題については、根本原因を特定する前に、この機能を使用すると全体的なパフォーマンスへの影響を迅速に軽減できるため、システム サービスの品質が向上します。

  詳細については、 ドキュメンテーションを参照してください。

SQL

• List および List COLUMNS パーティション テーブルは、デフォルト パーティション#20679 @ むじょん @ bb7133をサポートします。

  v7.3.0 より前では、 INSERTステートメントを使用して List または List COLUMNSパーティションテーブルにデータを挿入する場合、データはテーブルの指定されたパーティション条件を満たしている必要があります。挿入されるデータがこれらの条件のいずれかを満たさない場合、ステートメントの実行は失敗するか、準拠していないデータは無視されます。

  v7.3.0 以降、List および List COLUMNS パーティション テーブルはデフォルトのパーティションをサポートします。デフォルト パーティションの作成後、挿入されるデータがパーティション化条件を満たさない場合、そのデータはデフォルト パーティションに書き込まれます。この機能により、 List およびList COLUMNS パーティショニングの使いやすさが向上し、パーティショニング条件を満たさないデータによるINSERTステートメントの実行失敗やデータの無視が回避されます。

  この機能は、MySQL 構文に対する TiDB 拡張機能であることに注意してください。デフォルトのパーティションを持つパーティションテーブルの場合、テーブル内のデータを MySQL に直接レプリケートすることはできません。

  詳細については、 ドキュメンテーションを参照してください。

可観測性

• 統計収集の進行状況を表示#44033 @ ホーキングレイ

  大きなテーブルの統計の収集には長い時間がかかることがよくあります。以前のバージョンでは、統計収集の進行状況を確認できないため、完了時間を予測できませんでした。 TiDB v7.3.0 では、統計収集の進行状況を表示する機能が導入されています。システム テーブルmysql.analyze_jobsまたはSHOW ANALYZE STATUSを使用して、全体のワークロード、現在の進行状況、各サブタスクの推定完了時間を表示できます。大規模なデータのインポートや SQL パフォーマンスの最適化などのシナリオでは、この機能はタスク全体の進行状況を把握するのに役立ち、ユーザー エクスペリエンスが向上します。

  詳細については、 ドキュメンテーションを参照してください。

• Plan Replayer は履歴統計のエクスポートをサポートします#45038 @ 時間と運命

  v7.3.0 以降、新しく追加されたdump with stats as of timestamp句により、Plan Replayer を使用して、特定の時点での指定された SQL 関連オブジェクトの統計をエクスポートできます。実行計画の問題の診断中に、履歴統計を正確に取得すると、問題が発生したときに実行計画がどのように生成されたかをより正確に分析するのに役立ちます。これは、問題の根本原因を特定するのに役立ち、実行計画の問題を診断する効率が大幅に向上します。

  詳細については、 ドキュメンテーションを参照してください。

データ移行

• TiDB Lightning は、競合データの検出と処理戦略#41629 @ ランス6716の新しいバージョンを導入します。

  以前のバージョンでは、 TiDB Lightning は論理インポート モードと物理インポート モードに異なる競合検出および処理方法を使用していましたが、これは設定が複雑で、ユーザーが理解するのが容易ではありませんでした。さらに、物理インポート モードでは、 replaceまたはignore戦略を使用して競合を処理できません。 v7.3.0 以降、 TiDB Lightning、論理インポート モードと物理インポート モードの両方に対して統合された競合検出および処理戦略が導入されています。競合が発生した場合、競合するデータをエラーを報告する ( error )、置換する ( replace )、または無視する ( ignore ) かを選択できます。指定した数の競合レコードを処理した後にタスクを中断して終了するなど、競合レコードの数を制限できます。さらに、システムはトラブルシューティングのために競合するデータを記録できます。

  競合が多いインポート データの場合、パフォーマンスを向上させるために、新しいバージョンの競合検出および処理戦略を使用することをお勧めします。ラボ環境では、新しいバージョン戦略により、競合検出と処理のパフォーマンスが古いバージョンよりも最大 3 倍高速化されます。この性能値は参考値です。実際のパフォーマンスは、構成、テーブル構造、競合するデータの割合によって異なる場合があります。新しいバージョンと古いバージョンの競合戦略を同時に使用することはできないことに注意してください。古い競合の検出および処理戦略は、将来廃止される予定です。

  詳細については、 ドキュメンテーションを参照してください。

• TiDB Lightning はPartitioned Raft KV (実験的) #14916 @ GMHDBJDをサポートします

  TiDB Lightning がPartitioned Raft KV をサポートするようになりました。この機能は、 TiDB Lightningのデータ インポート パフォーマンスの向上に役立ちます。

• TiDB Lightning、より多くの診断ログを出力することでトラブルシューティングを強化するための新しいパラメータenable-diagnose-logが導入されました#45497 @ D3ハンター

  デフォルトでは、この機能は無効になっており、 TiDB Lightning はlightning/mainを含むログのみを出力。 TiDB Lightningを有効にすると、すべてのパッケージ ( client-goとtidbを含む) のログが出力、 client-goとtidbに関連する問題の診断に役立ちます。

  詳細については、 ドキュメンテーションを参照してください。

互換性の変更

注記：

このセクションでは、v7.2.0 から現在のバージョン (v7.3.0) にアップグレードするときに知っておく必要がある互換性の変更について説明します。 v7.1.0 以前のバージョンから現在のバージョンにアップグレードする場合は、中間バージョンで導入された互換性の変更も確認する必要がある場合があります。

行動の変化

• バックアップと復元 (BR)

  • BR は、完全なデータ復元を実行する前に、空のクラスターのチェックを追加します。デフォルトでは、空ではないクラスターへのデータの復元は許可されていません。復元を強制する場合は、 --filterオプションを使用して、データを復元する対応するテーブル名を指定できます。

• TiDB Lightning

  • tikv-importer.on-duplicateは非推奨となり、 conflict.strategyに置き換えられます。
  • TiDB Lightning が移行タスクを停止する前に許容できる致命的でないエラーの最大数を制御するmax-errorパラメーターは、インポート データの競合を制限しなくなりました。 conflict.thresholdパラメータは、許容できる競合レコードの最大数を制御するようになりました。

• TiCDC

  • Kafka シンクが Avro プロトコルを使用する場合、 force-replicateパラメーターがtrueに設定されていると、TiCDC は変更フィードの作成時にエラーを報告します。
  • delete-only-output-handle-key-columnsとforce-replicateパラメータの間に互換性がないため、両方のパラメータが有効になっていると、TiCDC は変更フィードの作成時にエラーを報告します。
  • 出力プロトコルがオープン プロトコルの場合、 UPDATEイベントは変更された列のみを出力します。

システム変数

コンフィグレーションファイルのパラメータ

システムテーブル

• 内部タイマーのメタデータを保存するための新しいシステム テーブルmysql.tidb_timersを追加します。

廃止された機能

• TiDB

  • 統計のFast Analyze機能 (実験的) は、v7.5.0 で非推奨になります。
  • 統計の増分コレクション機能は v7.5.0 で非推奨になります。

改善点

• TiDB

  • 新しいシステム変数tidb_opt_enable_non_eval_scalar_subqueryを導入して、最適化フェーズ#22076 @ ウィノロス中にステートメントEXPLAINが事前にサブクエリを実行するかどうかを制御します。
  • グローバルキルが有効な場合、 Ctrl+C #8854 @ ピンギュを押すことで現在のセッションを終了できます。
  • IS_FREE_LOCK()およびIS_USED_LOCK()ロック関数#44493 @ ドヴィーデンをサポート
  • ディスク#45125 @ ヤンケオからダンプされたチャンクを読み取るパフォーマンスを最適化します。
  • Optimizer Fix Controls #44855 @ 時間と運命を使用して、インデックス結合の内部テーブルの過大評価の問題を最適化します。

• TiKV

  • Max gap of safe-tsとMin safe ts regionメトリクスを追加し、 tikv-ctl get-region-read-progressコマンドを導入して、 resolved-tsとsafe-ts #15082 @ エキシウムのステータスをより適切に観察および診断します。

• PD

  • Swaggerサーバーが有効になっていない場合、デフォルトで Swagger API のブロックをサポート#6786 @ バッファフライ
  • etcd #6554 #6442 @ lhy1024の高可用性を向上させます
  • GetRegionsリクエスト#6835 @ lhy1024のメモリ消費量を削減

• TiFlash

  • 新しい DTFile 形式バージョンstorage.format_version = 5をサポートして、物理ファイルの数を削減します (実験的) #7595 @ ホンユニャン

• ツール

  • バックアップと復元 (BR)

    • BRを使用してデータを Azure Blob Storage にバックアップする場合、サーバー側暗号化の暗号化スコープまたは暗号化キーのいずれかを指定できます#45025 @ レヴルス

  • TiCDC

    • オープン プロトコル出力のメッセージ サイズを最適化して、 UPDATEイベント#9336 @ 3エースショーハンドを送信するときに更新された列値のみを含めるようにします。
    • Storage Sink は、HEX 形式のデータの 16 進エンコードをサポートするようになり、AWS DMS 形式仕様#9373 @ CharlesCheung96と互換性があります。
    • Kafka Sink は、メッセージが大きすぎる場合にハンドルキーデータのみを送信するをサポートし、メッセージのサイズを#9382 @ 3エースショーハンドに減らします。

バグの修正

• TiDB

  • MySQL カーソル フェッチ プロトコルを使用すると、結果セットのメモリ消費量がtidb_mem_quota_query制限を超え、TiDB OOM が発生する可能性がある問題を修正します。修正後、TiDB は自動的に結果セットをディスクに書き込み、メモリ#43233 @ ヤンケオを解放します。
  • データ競合#45561 @ ゲンリキによって引き起こされる TiDBpanic問題を修正
  • indexMergeのクエリが#45279 @ xzhangxian1008で強制終了されたときに発生するハングアップの問題を修正します。
  • tidb_enable_parallel_applyが有効になっている場合、MPP モードでのクエリ結果が正しくない問題を修正します#45299 @ ウィンドトーカー
  • PD時間#44822 @ ジグアンが急変した場合にresolve lockがハングすることがある問題を修正
  • GC Resolve Locks ステップで一部の悲観的ロック#45134 @ ミョンケミンタが見逃される可能性がある問題を修正します。
  • 動的プルーニング モード#45007 @ 定義2014でORDER BYを指定したクエリが誤った結果を返す問題を修正します。
  • DEFAULT列の値#45136 @ 定義2014と同じ列にAUTO_INCREMENTを指定できる問題を修正
  • システム テーブルINFORMATION_SCHEMA.TIKV_REGION_STATUSをクエリすると、場合によっては誤った結果が返される問題を修正します#45531 @ 定義2014
  • 場合によってはパーティション テーブルのプルーニングが正しく行われない問題を修正#42273 @ ジフフスト
  • パーティションテーブル#42435 @ L-カエデのパーティションを切り捨てるときにグローバルインデックスがクリアされない問題を修正
  • 1 つの TiDB ノード#45022 @ ルクワンチャオで障害が発生した後、他の TiDB ノードが TTL タスクを引き継がない問題を修正します。
  • TTL #45510 @ ルクワンチャオ実行時のメモリリークの問題を修正
  • パーティションテーブル#44966 @ リリンハイにデータを挿入するときに不正確なエラー メッセージが表示される問題を修正
  • INFORMATION_SCHEMA.TIFLASH_REPLICAテーブル#7795 @ ロイド・ポティガーの読み取り権限の問題を修正
  • 間違ったパーティションテーブル名#44967 @ リバー2000iを使用するとエラーが発生する問題を修正
  • tidb_enable_dist_taskを有効にすると、場合によっては#44440 @ タンジェンタでインデックスの作成が停止する問題を修正
  • BR #44716 @ ティエンチャイアマオを使用してAUTO_ID_CACHE=1持つテーブルを復元するときに発生するduplicate entryエラーを修正しました。
  • TRUNCATE TABLEの実行にかかった時間が、 ADMIN SHOW DDL JOBS #44785 @ タンジェンタで示されるタスクの実行時間と一致しない問題を修正
  • メタデータの読み取りに 1 回の DDL リース#45176 @ ジムララよりも長い時間がかかると TiDB のアップグレードが停止する問題を修正
  • ステートメント内のn負の数#44786 @ ゼボックスである場合、 SELECT CAST(n AS CHAR)ステートメントのクエリ結果が正しくない問題を修正します。
  • tidb_opt_agg_push_downが有効になっている場合にクエリが間違った結果を返す可能性がある問題を修正します#44795 @ アイリンキッド
  • current_date()クエリがプラン キャッシュ#45086 @ qw4990を使用するときに発生する間違った結果の問題を修正します。

• TiKV

  • GC 中のデータ読み取りにより、まれに TiKVpanicが発生する可能性がある問題を修正#15109 @ ミョンケミンタ

• PD

  • PD を再起動するとdefaultリソース グループが再初期化される可能性がある問題を修正します#6787 @ グロルフ
  • etcd がすでに開始されているが、クライアントがまだ接続していないときに、クライアントを呼び出すと PD がpanic#6860 @ ヒューシャープになる可能性がある問題を修正します。
  • リージョンのhealth-check出力が、リージョンID #6560 @ Jmポテトのクエリによって返されるリージョン情報と一致しない問題を修正します。
  • unsafe recoveryで失敗した学習者ピアがauto-detectモード#6690 @ v01dstarで無視される問題を修正
  • 配置ルールがルール#6662 @ ルルンクスを満たさないTiFlash学習者を選択する問題を修正
  • ルールチェッカーがピア#6559 @ ノールーシュを選択すると、異常なピアを削除できない問題を修正

• TiFlash

  • デッドロック#7758 @ ホンユニャンが原因で、 TiFlashがパーティション テーブルを正常に複製できない問題を修正します。
  • INFORMATION_SCHEMA.TIFLASH_REPLICAシステム テーブルにユーザーがアクセスする権限を持たないテーブルが含まれている問題を修正#7795 @ ロイド・ポティガー
  • 同じ MPP タスク内に複数の HashAgg 演算子がある場合、MPP タスクのコンパイルに過度に時​​間がかかり、クエリのパフォーマンス#7810 @ シーライズに深刻な影響を与える可能性がある問題を修正します。

• ツール

  • TiCDC

    • PD #9294 @ 東門が一時的に利用できないために変更フィードが失敗する問題を修正
    • 一部の TiCDC ノードがネットワーク#9344 @ CharlesCheung96から分離されている場合に発生する可能性があるデータの不整合の問題を修正します。
    • Kafka シンクでエラーが発生すると、変更フィードの進行が無期限にブロックされる可能性がある問題を修正します#9309 @ ひっくり返る
    • TiCDC ノードのステータスが#9354 @ スドジに変化したときに発生する可能性があるpanicの問題を修正しました。
    • デフォルト値ENUM #9259 @ 3エースショーハンドのエンコード エラーを修正

  • TiDB Lightning

    • TiDB Lightning のインポート完了後にチェックサムを実行すると SSL エラー#45462 @ D3ハンターが発生する可能性がある問題を修正
    • 論理インポート モードで、インポート中にダウンストリームのテーブルを削除すると、 TiDB Lightningメタデータが時間内に更新されなくなる可能性がある問題を修正します#44614 @ dsダシュン

貢献者

TiDB コミュニティの以下の貢献者に感謝いたします。

• チャールズジェン44
• ジズム
• ハイユクス
• ジャンファ
• ジル
• ジフフスト
• クリシュナダットパンチャグヌラ
• L-カエデ
• ピンアンドブ
• テスト意志
• てそくん
• シュイファングリーンアイズ
• ヤムチナ