TiDB 7.5.0 リリースノート

発売日：2023年12月1日

TiDB バージョン: 7.5.0

クイックアクセス: クイックスタート | 本番展開 | インストールパッケージ

TiDB 7.5.0 は長期サポート リリース (LTS) です。

以前の LTS 7.1.0 と比較して、7.5.0 には7.2.0-DMR 、 7.3.0-DMR 、および7.4.0-DMRでリリースされた新機能、改善、バグ修正が含まれています。 7.1.x から 7.5.0 にアップグレードする場合、 TiDB リリース ノート PDFダウンロードして 2 つの LTS バージョン間のすべてのリリース ノートを表示できます。次の表に、7.2.0 から 7.5.0 までのいくつかのハイライトを示します。

機能の詳細

スケーラビリティ

• 分散実行フレームワーク (DXF) が有効な場合に、 ADD INDEXまたはIMPORT INTOのタスクを分散実行するための TiDB ノードの指定と分離をサポート#46258 @ ywqzzy

  リソースを大量に消費するクラスターでADD INDEXまたはIMPORT INTOタスクを並行して実行すると、大量の TiDB ノード リソースが消費され、クラスターのパフォーマンスの低下につながる可能性があります。既存のサービスへのパフォーマンスへの影響を回避するために、v7.4.0 では、実験的機能としてシステム変数tidb_service_scopeを導入し、 TiDB 分散実行フレームワーク (DXF)の下で各 TiDB ノードのサービス スコープを制御します。複数の既存の TiDB ノードを選択することも、新しい TiDB ノードの TiDB サービス スコープを設定することもでき、分散実行されるすべてのADD INDEXおよびIMPORT INTOタスクはこれらのノードでのみ実行されます。 v7.5.0 では、この機能は一般提供 (GA) になります。

  詳細については、 ドキュメンテーションを参照してください。

パフォーマンス

• TiDB Distributed eXecution Framework (DXF) が一般提供 (GA) され、並列実行#45719 @ wjhuang2016におけるADD INDEXおよびIMPORT INTOタスクのパフォーマンスと安定性が向上しました。

  v7.1.0 で導入された DXF は GA になりました。 TiDB v7.1.0 より前のバージョンでは、DDL タスクを同時に実行できる TiDB ノードは 1 つだけです。 v7.1.0 以降、複数の TiDB ノードが DXF の下で同じ DDL タスクを並行して実行できるようになりました。 v7.2.0 以降、DXF は、複数の TiDB ノードが同じIMPORT INTOタスクを並行して実行することをサポートします。これにより、TiDB クラスターのリソースがより有効に活用され、DDL およびIMPORT INTOタスクのパフォーマンスが大幅に向上します。さらに、TiDB ノードを増やして、これらのタスクのパフォーマンスを直線的に向上させることもできます。

  DXF を使用するには、 tidb_enable_dist_task値をONに設定します。

  SET GLOBAL tidb_enable_dist_task = ON;
  

  詳細については、 ドキュメンテーションを参照してください。

• 単一の SQL ステートメントで複数のインデックスを追加するパフォーマンスが向上しました#41602 @ タンジェンタ

  v7.5.0 より前では、単一の SQL ステートメントに複数のインデックス ( ADD INDEX ) を追加する場合、パフォーマンスは個別の SQL ステートメントを使用して複数のインデックスを追加する場合と同様でした。 v7.5.0 以降、単一の SQL ステートメントで複数のインデックスを追加するパフォーマンスが大幅に向上しました。特に幅の広いテーブルを使用するシナリオでは、パフォーマンスが最大 94% 向上することが内部テスト データで示されています。

DB操作

• DDL ジョブは、一時停止および再開操作 (GA) #18015 @ ゴドゥムをサポートします。

  v7.2.0 で導入された DDL ジョブの一時停止および再開操作が一般提供 (GA) になりました。これらの操作により、リソースを大量に消費する DDL ジョブ (インデックスの作成など) を一時停止して、リソースを節約し、オンライン トラフィックへの影響を最小限に抑えることができます。リソースが許せば、DDL ジョブをキャンセルして再開することなく、シームレスに再開できます。この機能により、リソースの使用率が向上し、ユーザー エクスペリエンスが向上し、スキーマ変更プロセスが簡素化されます。

  ADMIN PAUSE DDL JOBSまたはADMIN RESUME DDL JOBSを使用して、複数の DDL ジョブを一時停止および再開できます。

  ADMIN PAUSE DDL JOBS 1,2;
  ADMIN RESUME DDL JOBS 1,2;
  

  詳細については、 ドキュメンテーションを参照してください。

• BR は統計のバックアップと復元をサポートしています#48008 @ レヴルス

  TiDB v7.5.0 以降、br コマンドライン ツールには、データベース統計をバックアップおよび復元するための--ignore-statsパラメータが導入されています。このパラメーターをfalseに設定すると、 br コマンドライン ツールは、列、インデックス、テーブルの統計のバックアップと復元をサポートします。この場合、バックアップから復元された TiDB データベースの統計収集タスクを手動で実行したり、自動収集タスクの完了を待つ必要はありません。この機能により、データベースのメンテナンス作業が簡素化され、クエリのパフォーマンスが向上します。

  詳細については、 ドキュメンテーションを参照してください。

可観測性

• TiDB ダッシュボードは TiKV #15927 @ コナー1996のヒープ プロファイリングをサポートします

  以前は、TiKV OOM または高メモリ使用量の問題に対処するには、通常、インスタンス環境でヒープ プロファイルを生成するためにjeprofを手動で実行する必要がありました。 v7.5.0 以降、TiKV ではヒープ プロファイルのリモート処理が可能になります。ヒープ プロファイルのフレーム グラフとコール グラフに直接アクセスできるようになりました。この機能は、Go ヒープ プロファイリングと同じシンプルで使いやすいエクスペリエンスを提供します。

  詳細については、 ドキュメンテーションを参照してください。

データ移行

• IMPORT INTO SQL ステートメント (GA) #46704 @ D3ハンターをサポート

  v7.5.0 では、 IMPORT INTO SQL ステートメントが一般提供 (GA) になりました。このステートメントは、 TiDB Lightningの物理インポートモード機能を統合し、CSV、SQL、PARQUET などの形式でデータを TiDB の空のテーブルにすばやくインポートできるようにします。このインポート方法により、 TiDB Lightningを個別に展開して管理する必要がなくなり、データ インポートの複雑さが軽減され、インポート効率が大幅に向上します。

  詳細については、 ドキュメンテーションを参照してください。

• データ移行 (DM) は、互換性のない (データ整合性を損なう) DDL 変更のブロックをサポートします#9692 @ GMHDBJD

  v7.5.0 より前では、DMBinlogフィルター機能は指定されたイベントのみを移行またはフィルターでき、粒度は比較的粗かったです。たとえば、 ALTERなどの大きな粒度の DDL イベントのみをフィルタリングできます。この方法は一部のシナリオでは制限されます。たとえば、アプリケーションでADD COLUMN許可されますが、 DROP COLUMN許可されませんが、以前の DM バージョンでは両方ともALTERイベントによってフィルタリングされます。

  このような問題に対処するために、v7.5.0 では、フィルタリングMODIFY COLUMN (列データ型の変更)、 DROP COLUMNや、データ損失、データの切り捨て、および精度の低下。必要に応じて設定できます。この機能は、互換性のない DDL 変更のブロックやそのような変更に対するエラーのレポートもサポートしているため、ダウンストリーム アプリケーション データへの影響を回避するために適切なタイミングで手動で介入できます。

  詳細については、 ドキュメンテーションを参照してください。

• 継続的なデータ検証のためのリアルタイムのチェックポイント更新をサポート#8463 @ リチュンジュ

  v7.5.0 より前では、 継続的なデータ検証機能により DM からダウンストリームへのレプリケーション中のデータの整合性が保証されます。これは、上流のデータベースから TiDB へのビジネス トラフィックをカットオーバーするための基礎として機能します。ただし、レプリケーションの遅延や不整合データの再検証の待機などのさまざまな要因により、継続的検証チェックポイントは数分ごとに更新する必要があります。これは、カットオーバー時間が数十秒に制限されている一部のビジネス シナリオでは受け入れられません。

  継続的なデータ検証のためのチェックポイントのリアルタイム更新の導入により、アップストリーム データベースからbinlogの位置を提供できるようになりました。継続的検証プログラムは、メモリ内でこのbinlogの位置を検出すると、チェックポイントを数分ごとに更新するのではなく、ただちに更新します。したがって、この即時に更新されるチェックポイントに基づいて、カットオフ操作を迅速に実行できます。

  詳細については、 ドキュメンテーションを参照してください。

互換性の変更

注記：

このセクションでは、v7.4.0 から現在のバージョン (v7.5.0) にアップグレードするときに知っておく必要がある互換性の変更について説明します。 v7.3.0 以前のバージョンから現在のバージョンにアップグレードする場合は、中間バージョンで導入された互換性の変更も確認する必要がある場合があります。

システム変数

コンフィグレーションファイルのパラメータ

オフラインパッケージの変更

v7.5.0 以降、次のコンテンツがTiDB-community-toolkit バイナリパッケージから削除されます。

• tikv-importer-{version}-linux-{arch}.tar.gz
• mydumper
• spark-{version}-any-any.tar.gz
• tispark-{version}-any-any.tar.gz

廃止された機能

• マイダンパーは v7.5.0 で非推奨となり、その機能のほとんどがDumplingに置き換えられました。 Mydumper の代わりにDumpling を使用することを強くお勧めします。

• TiKV インポーターは v7.5.0 で非推奨になりました。代わりにTiDB Lightningの物理インポート モードを使用することを強くお勧めします。

• TiDB v7.5.0 以降、 TiDBBinlogのデータ レプリケーション機能のテクニカル サポートは提供されなくなりました。データ レプリケーションの代替ソリューションとしてTiCDCを使用することを強くお勧めします。 TiDB Binlog v7.5.0 は引き続きポイントインタイム リカバリ (PITR) シナリオをサポートしていますが、このコンポーネントは将来のバージョンでは完全に非推奨になります。データ回復の代替ソリューションとしてPITRを使用することをお勧めします。

• 統計のFast Analyze機能 (実験的) は、v7.5.0 で非推奨になりました。

• 統計の増分コレクション機能 (実験的) は、v7.5.0 で非推奨になりました。

改善点

• TiDB

  • GlobalStats をマージする同時実行モデルを最適化しますtidb_enable_async_merge_global_statsを導入すると、統計の同時読み込みとマージが可能になり、パーティション化されたテーブルでの GlobalStats の生成が高速化されます。 GlobalStats をマージする際のメモリ使用量を最適化して、OOM を回避し、メモリ割り当てを削減します。 #47219 @ ホーキングレイ
  • ANALYZEプロセスを最適化しますtidb_build_sampling_stats_concurrencyを導入してANALYZEの同時実行をより適切に制御し、リソース消費を削減します。 ANALYZEのメモリ使用量を最適化してメモリ割り当てを削減し、一部の中間結果を再利用することで頻繁な GC を回避します。 #47275 @ ホーキングレイ
  • 配置ポリシーの使用を最適化します。ポリシーの範囲をグローバルに構成することをサポートし、一般的なシナリオの構文サポートを改善します。 #45384 @ ノールーシュ
  • tidb_ddl_enable_fast_reorgを有効にすると、インデックスを追加するパフォーマンスが向上します。内部テストでは、v7.5.0 は v6.5.0 と比較してパフォーマンスが最大 62.5% 向上しました。 #47757 @ タンジェンタ

• TiKV

  • 他のスレッドへの影響を防ぐために、Titan マニフェスト ファイルを書き込むときにミューテックスを保持しないようにします#15351 @ コナー1996

• PD

  • evict-slow-trendスケジューラ#7156 @ リクササシナトの安定性と使いやすさを向上

• ツール

  • バックアップと復元 (BR)

    • スナップショット バックアップ用の新しいテーブル間バックアップ パラメータtable-concurrencyを追加します。このパラメータは、統計のバックアップやデータ検証などのメタ情報のテーブル間の同時実行性を制御するために使用されます#48571 @ 3ポインター
    • スナップショット バックアップの復元中に、特定のネットワーク エラーが発生すると、 BR は再試行します#48528 @ レヴルス

バグの修正

• TiDB

  • 非整数クラスター化インデックス#47350 @ タンジェンタでの分割テーブル操作の禁止
  • 間違ったタイムゾーン情報#46033 @ タンジェンタを使用して時間フィールドをエンコードする問題を修正
  • Sort オペレーターにより、スピル プロセス#47538 @ ウィンドトーカー中に TiDB がクラッシュする可能性がある問題を修正します。
  • TiDB がGROUP_CONCAT #41957 @ アイリンキッドのクエリに対してCan't find columnを返す問題を修正
  • batch-client client-go @ クレイジークス520 #47691panicの問題を修正
  • INDEX_LOOKUP_HASH_JOIN #47788 @ シーライズでのメモリ使用量の推定が正しくない問題を修正
  • 長期間オフラインだったTiFlashノードの再参加によって引き起こされる不均一なワークロードの問題を修正します#35418 @ ウィンドトーカー
  • HashJoin オペレーターがプローブ#48082 @ wshwsh12を実行するとチャンクが再利用できない問題を修正
  • COALESCE()関数がDATE型パラメータ#46475 @ xzhangxian1008に対して間違った結果型を返す問題を修正
  • サブクエリを含むUPDATEステートメントが誤って PointGet #48171 @ こんにちはラスティンに変換される問題を修正
  • キャッシュされた実行プランに日付型とunix_timestamp #48165 @ qw4990の比較が含まれている場合に、誤った結果が返される問題を修正します。
  • 集約関数またはウィンドウ関数を含むデフォルトのインライン共通関数式 (CTE) が再帰 CTE #47881 @ エルサ0520によって参照されるとエラーが報告される問題を修正します。
  • ウィンドウ関数#46177 @ qw4990によって導入される並べ替えを削減するために、オプティマイザーが誤って IndexFullScan を選択する問題を修正します。
  • CTE #47881 @ ウィノロスの条件プッシュダウンにより、CTE への複数の参照により不正確な結果が生じる問題を修正
  • MySQL 圧縮プロトコルが大量のデータ (>=16M) のロードを処理できないという問題を修正します#47152 #47157 #47161 @ ドヴィーデン
  • TiDB がsystemd #47442 @ ホーキングレイで起動されたときにcgroupリソース制限を読み込まない問題を修正

• TiKV

  • 悲観的トランザクションモードでプリライトリクエストを再試行すると、まれにデータ不整合のリスクが発生する可能性がある問題を修正#11187 @ ミョンケミンタ

• PD

  • evict-leader-schedulerが設定#6897 @ ヒューシャープを失う可能性がある問題を修正
  • ストアがオフラインになった後、その統計の監視メトリックが削除されない問題を修正します#7180 @ ルルンクス
  • 配置ルールの構成が複雑な場合、データ レプリケーション自動同期 (DR Auto-Sync) モードを採用しているクラスターでcanSyncとhasMajority正しく計算されないことがある問題を修正#7201 @ ディスク化
  • ルール チェッカーが配置ルール#7185 @ ノールーシュの設定に従って学習者を追加しない問題を修正
  • TiDB ダッシュボードが PD traceデータを正しく読み取れない問題を修正#7253 @ ノールーシュ
  • 内部的に取得された空のリージョンが原因で PD がpanicになる問題を修正#7261 @ lhy1024
  • データ レプリケーション自動同期 (DR Auto-Sync) モード#7221 @ ディスク化を採用しているクラスターでavailable_storesが正しく計算されない問題を修正します。
  • TiKV ノードが利用できない場合に PD が通常のピアを削除する可能性がある問題を修正#7249 @ lhy1024
  • 大規模なクラスターに複数の TiKV ノードを追加すると、TiKVハートビートレポートが遅くなったりスタックしたりする可能性がある問題を修正します#7248 @ ルルンクス

• TiFlash

  • UPPER()とLOWER()関数が TiDB とTiFlash #7695 @ ウィンドトーカーの間で一貫性のない結果を返す問題を修正
  • 空のパーティションでクエリを実行するとクエリ失敗#8220 @ ジェイ・ソン・ファンが発生する問題を修正します。
  • TiFlashレプリカ#8217 @ ホンユニャンをレプリケートする際のテーブル作成の失敗によって引き起こされるpanicの問題を修正

• ツール

  • バックアップと復元 (BR)

    • PITR がCREATE INDEX DDL ステートメント#47482 @ レヴルスの復元をスキップする可能性がある問題を修正します。
    • 大きな幅のテーブル#15714 @ ユジュンセンをバックアップするときに、一部のシナリオでログ バックアップが停止する可能性がある問題を修正します。

  • TiCDC

    • データをオブジェクト ストア シンク#10041 @ CharlesCheung96にレプリケートするときに NFS ディレクトリにアクセスすることによって発生するパフォーマンスの問題を修正します。
    • claim-checkが有効になっている場合にstorageパスのスペルが間違っている問題を修正#10036 @ 3エースショーハンド
    • 場合によっては TiCDC スケジューリングのバランスが取れていない問題を修正#9845 @ 3エースショーハンド
    • Kafka #9855 @ ひっくり返るにデータをレプリケートするときに TiCDC がスタックする可能性がある問題を修正
    • 場合によっては TiCDC プロセッサがpanicになる問題を修正#9849 #9915 @ ひっくり返る @ 3エースショーハンド
    • kv-client.enable-multiplexingを有効にするとレプリケーション タスクがスタックする問題を修正します#9673 @ フビンジ
    • REDO ログが有効になっている場合に、NFS 障害が原因でオーナー ノードがスタックする問題を修正#9886 @ 3エースショーハンド

性能テスト

TiDB v7.5.0 のパフォーマンスについては、TiDB 専用クラスターのTPC-C パフォーマンス テスト レポートとSysbench パフォーマンス テスト レポートを参照してください。

貢献者

TiDB コミュニティの以下の貢献者に感謝いたします。

• ジグランデ (初投稿者)
• ショーン0915