TiDB 5.1 リリースノート
発売日: 2021年6月24日
TiDB バージョン: 5.1.0
v5.1 の主な新機能または改善点は次のとおりです。
- MySQL 8.0 の共通テーブル式 (CTE) 機能をサポートし、SQL ステートメントの読みやすさと実行効率を向上させます。
- コード開発の柔軟性を向上させるために、オンラインでの列タイプの変更をサポートします。
- クエリの安定性を向上させるために新しい統計タイプを導入しました。これは、実験的機能としてデフォルトで有効になっています。
- MySQL 8.0 の動的権限機能をサポートし、特定の操作に対するよりきめ細かい制御を実装します。
- 読み取りレイテンシーを短縮し、クエリ パフォーマンスを向上させるために、 ステイル読み取り機能を使用してローカル レプリカからデータを直接読み取る機能をサポートします (Experimental)。
- データベース管理者 (DBA) がトランザクション ロック イベントを観察し、デッドロックの問題をトラブルシューティングできるように、ロックビュー機能を追加します (Experimental)。
- 読み取りおよび書き込み要求のレイテンシーが安定するように、バックグラウンド タスクに TiKV 書き込みレート リミッターを追加します。
互換性の変更
注記:
以前の TiDB バージョンから v5.1 にアップグレードする場合、すべての中間バージョンの互換性変更ノートを知りたい場合は、対応するバージョンのリリースノートを確認できます。
システム変数
変数名 | タイプを変更 | 説明 |
---|---|---|
cte_max_recursion_depth | 新しく追加された | 共通テーブル式の最大再帰深度を制御します。 |
init_connect | 新しく追加された | TiDBサーバーへの初期接続を制御します。 |
tidb_analyze_version | 新しく追加された | TiDB が統計を収集する方法を制御します。この変数のデフォルト値は2 です。これは実験的機能です。 |
tidb_enable_enhanced_security | 新しく追加された | 接続している TiDBサーバーでSecurity拡張モード (SEM) が有効になっているかどうかを示します。この変数設定は、TiDBサーバーを再起動しないと変更できません。 |
tidb_enforce_mpp | 新しく追加された | オプティマイザのコスト見積もりを無視し、クエリ実行に MPP モードを強制的に使用するかどうかを制御します。この変数のデータ型はBOOL で、デフォルト値はfalse です。 |
tidb_partition_prune_mode | 新しく追加された | パーティション化されたテーブルに対して動的プルーニング モードを有効にするかどうかを指定します。この機能は実験的段階です。この変数のデフォルト値はstatic です。これは、パーティション化されたテーブルの動的プルーニング モードがデフォルトで無効になっていることを意味します。 |
コンフィグレーションファイルのパラメータ
コンフィグレーションファイル | コンフィグレーション項目 | タイプを変更 | 説明 |
---|---|---|---|
TiDB 構成ファイル | security.enable-sem | 新しく追加された | Security拡張モード (SEM) を有効にするかどうかを制御します。この構成項目のデフォルト値はfalse で、SEM が無効であることを意味します。 |
TiDB 構成ファイル | performance.committer-concurrency | 修正済み | 単一トランザクションのコミット フェーズにおけるコミット操作に関連する要求の同時実行数を制御します。デフォルト値は16 から128 に変更されます。 |
TiDB 構成ファイル | performance.tcp-no-delay | 新しく追加された | TCPレイヤーで TCP_NODELAY を有効にするかどうかを決定します。デフォルト値はtrue で、TCP_NODELAY が有効であることを意味します。 |
TiDB 構成ファイル | performance.enforce-mpp | 新しく追加された | TiDB がインスタンス レベルで Optimizer のコスト見積を無視し、MPP モードを強制するかどうかを制御します。デフォルト値はfalse です。この構成項目は、システム変数tidb_enforce_mpp の初期値を制御します。 |
TiDB 構成ファイル | pessimistic-txn.deadlock-history-capacity | 新しく追加された | 単一の TiDBサーバーのINFORMATION_SCHEMA.DEADLOCKS テーブルに記録できるデッドロック イベントの最大数を設定します。デフォルト値は10 です。 |
TiKV 設定ファイル | abort-on-panic | 新しく追加された | abort プロセスが、TiKV パニック時にシステムがコア ダンプ ファイルを生成することを許可するかどうかを設定します。デフォルト値はfalse で、コア ダンプ ファイルの生成は許可されません。 |
TiKV 設定ファイル | hibernate-regions | 修正済み | デフォルト値はfalse からtrue に変更されます。リージョンが長時間アイドル状態の場合、自動的に休止状態に設定されます。 |
TiKV 設定ファイル | old-value-cache-memory-quota | 新しく追加された | TiCDC 古い値によるメモリ使用量の上限を設定します。デフォルト値は512MB です。 |
TiKV 設定ファイル | sink-memory-quota | 新しく追加された | TiCDC データ変更イベントによるメモリ使用量の上限を設定します。デフォルト値は512MB です。 |
TiKV 設定ファイル | incremental-scan-threads | 新しく追加された | 履歴データを増分スキャンするタスクのスレッド数を設定します。デフォルト値は4 で、タスクに 4 つのスレッドがあることを意味します。 |
TiKV 設定ファイル | incremental-scan-concurrency | 新しく追加された | 履歴データを増分スキャンするタスクの最大同時実行数を設定します。デフォルト値は6 で、最大 6 つのタスクを同時に実行できることを意味します。 |
TiKV 設定ファイル | soft-pending-compaction-bytes-limit | 修正済み | 保留中の圧縮バイトのソフト制限。デフォルト値は"64GB" から"192GB" に変更されます。 |
TiKV 設定ファイル | storage.io-rate-limit | 新しく追加された | TiKV 書き込みの I/O レートを制御します。デフォルト値はstorage.io-rate-limit.max-bytes-per-sec で、 "0MB" です。 |
TiKV 設定ファイル | resolved-ts.enable | 新しく追加された | すべてのリージョンリーダーに対してresolved-ts 維持するかどうかを決定します。デフォルト値はtrue です。 |
TiKV 設定ファイル | resolved-ts.advance-ts-interval | 新しく追加された | resolved-ts が転送される間隔。デフォルト値は"1s" です。値は動的に変更できます。 |
TiKV 設定ファイル | resolved-ts.scan-lock-pool-size | 新しく追加された | resolved-ts 初期化するときに TiKV が MVCC (マルチバージョン同時実行制御) ロック データをスキャンするために使用するスレッドの数。デフォルト値は2 です。 |
その他
- アップグレード前に、TiDB 構成
feedback-probability
の値を確認してください。値が 0 でない場合、アップグレード後に「回復可能な goroutine でpanic」エラーが発生しますが、このエラーはアップグレードには影響しません。 - TiDB の Go コンパイラ バージョンを go1.13.7 から go1.16.4 にアップグレードすると、TiDB のパフォーマンスが向上します。TiDB 開発者の場合は、スムーズなコンパイルを確実に実行できるように Go コンパイラ バージョンをアップグレードしてください。
- TiDB ローリング アップグレード中に、TiDB Binlog を使用するクラスター内にクラスター化インデックスを持つテーブルを作成しないようにしてください。
- TiDB ローリング アップグレード中は、
alter table ... modify column
またはalter table ... change column
のようなステートメントを実行しないでください。 - v5.1 以降、各テーブルのTiFlashレプリカを構築するときに、システム テーブルのレプリカを設定することはサポートされなくなりました。クラスターをアップグレードする前に、関連するシステム テーブル レプリカをクリアする必要があります。そうしないと、アップグレードは失敗します。
- TiCDC の
cdc cli changefeed
コマンドの--sort-dir
パラメータは非推奨です。代わりに、cdc server
コマンドで--sort-dir
設定できます#1795 - TiDB 5.1 にアップグレードした後、TiDB が「関数 READ ONLY には noop 実装のみがあります」というエラーを返す場合、
tidb_enable_noop_functions
の値をON
に設定することで、TiDB がこのエラーを無視するようにすることができます。これは、MySQL のread_only
変数が TiDB でまだ有効になっていないためです (TiDB では「noop」動作です)。したがって、この変数が TiDB で設定されている場合でも、TiDB クラスターにデータを書き込むことができます。
新機能
構文
MySQL 8.0 の共通テーブル式 (CTE) 機能をサポートします。
この機能により、TiDB は階層データを再帰的または非再帰的にクエリする機能を強化し、人事、製造、金融市場、教育などの複数の分野でツリー クエリを使用してアプリケーション ロジックを実装するニーズを満たします。
TiDBでは、共通テーブル式ユーザードキュメント使用するために
WITH
文を適用できます#17472MySQL 8.0 の動的権限機能をサポートします。
動的権限は、
SUPER
権限を制限し、よりきめ細かいアクセス制御のために TiDB に柔軟な権限構成を提供するために使用されます。たとえば、動的権限を使用して、BACKUP
とRESTORE
操作のみを実行できるユーザー アカウントを作成できます。サポートされている動的権限は次のとおりです。
BACKUP_ADMIN
RESTORE_ADMIN
ROLE_ADMIN
CONNECTION_ADMIN
SYSTEM_VARIABLES_ADMIN
プラグインを使用して新しい権限を追加することもできます。サポートされているすべての権限を確認するには、
SHOW PRIVILEGES
ステートメントを実行しますユーザードキュメントSecurity強化モード (SEM) の新しい構成項目を追加します。これにより、TiDB 管理者権限がより細かく分割されます。
Security強化モードはデフォルトで無効になっています。有効にするには、 ユーザードキュメントを参照してください。
オンラインでの列タイプ変更機能を強化します
ALTER TABLE
ステートメントを使用したオンラインでの列タイプ変更をサポートします。これには以下が含まれますが、これらに限定されません。VARCHAR
BIGINT
に変更DECIMAL
精度の変更VARCHAR(10)
の長さをVARCHAR(5)
に圧縮する
指定された時点または指定された時間範囲から履歴データを読み取るために使用される新しい実験的機能であるステイル読み取り を実行するための新しい SQL 構文
AS OF TIMESTAMP
を導入します。AS OF TIMESTAMP
の例は以下のとおりです。SELECT * FROM t AS OF TIMESTAMP '2020-09-06 00:00:00'; START TRANSACTION READ ONLY AS OF TIMESTAMP '2020-09-06 00:00:00'; SET TRANSACTION READ ONLY as of timestamp '2020-09-06 00:00:00';新しい統計タイプ
tidb_analyze_version = 2
(Experimental) を導入します。デフォルトでは
tidb_analyze_version
は2
に設定されており、これにより、バージョン 1 でのハッシュ競合によって大量のデータで発生する可能性のある大きなエラーが回避され、ほとんどのシナリオで推定精度が維持されます。
トランザクション
ロックビュー機能のサポート(Experimental)
ロックビュー機能は、ロック競合や悲観的ロックのロック待機に関する詳細情報を提供し、DBA がトランザクションのロック状態を観察し、デッドロックの問題をトラブルシューティングするのに役立ちます#24199
ユーザードキュメント:
- クラスター内のすべての TiKV ノードで現在発生している悲観的ロックとその他のロックをビュー
DATA_LOCK_WAITS
- TiDBノードで最近発生したいくつかのデッドロックエラーをビュー:
DEADLOCKS
- TiDBノードで現在実行されているトランザクション情報をビュー:
TIDB_TRX
- クラスター内のすべての TiKV ノードで現在発生している悲観的ロックとその他のロックをビュー
パフォーマンス
データレプリカの古い読み取り (Experimental)
ローカルレプリカデータを直接読み取り、読み取りレイテンシーを削減し、クエリパフォーマンスを向上させます。
デフォルトで Hibernate リージョン機能を有効にします。
リージョンが長時間非アクティブ状態にある場合、自動的にサイレント状態に設定され、LeaderとFollower間のハートビート情報のシステム オーバーヘッドが削減されます。
安定性
TiCDCのレプリケーション安定性の問題を解決する
以下のシナリオで OOM を回避するために TiCDC のメモリ使用量を改善します。
レプリケーション中断中に 1TB を超える大量のデータが蓄積されると、再レプリケーションによって OOM 問題が発生します。
大量のデータ書き込みは TiCDC で OOM の問題を引き起こします。
次のシナリオで TiCDC レプリケーションが中断される可能性を減らします。
- ネットワークが不安定な場合のレプリケーションの中断
- 一部の TiKV/PD/TiCDC ノードがダウンした場合のレプリケーションの中断
TiFlashstorageメモリ制御
リージョンスナップショット生成の速度とメモリ使用量を最適化し、OOMの可能性を減らします。
TiKV バックグラウンド タスクの書き込みレート リミッターを追加します (TiKV 書き込みレート リミッター)
読み取りおよび書き込み要求の持続時間の安定性を確保するために、TiKV 書き込みレート リミッターは、GC や圧縮などの TiKV バックグラウンド タスクの書き込みトラフィックを平滑化します。TiKV バックグラウンド タスク書き込みレート リミッターの既定値は「0MB」です。この値は、クラウド ディスクの製造元によって指定された最大 I/O 帯域幅など、ディスクの最適な I/O 帯域幅に設定することをお勧めします。
複数のスケーリングタスクが同時に実行される場合のスケジュールの安定性の問題を解決します
テレメトリー
TiDB は、実行ステータスや失敗ステータスなど、テレメトリに TiDB クラスター要求の実行ステータスを追加します。
この情報の詳細と、この動作を無効にする方法については、 テレメトリーを参照してください。
改善点
ティビ
- 組み込み関数
VITESS_HASH()
#23915をサポート WHERE
節#23619で列挙型を使用する場合のパフォーマンスを向上させるために、列挙型のデータを TiKV にプッシュダウンすることをサポートします。RENAME USER
構文#23648サポートする- ROW_NUMBER() #23807を使用してデータをページングする際の TiDB OOM 問題を解決するためにウィンドウ関数の計算を最適化します。
UNION ALL
使用して多数のSELECT
文を結合する場合のTiDB OOM問題を解決するためにUNION ALL
の計算を最適化します#21441- パーティションテーブルの動的プルーニングモードを最適化してパフォーマンスと安定性を向上#24150
- 複数のシナリオで発生する
Region is Unavailable
問題を修正するプロジェクト#62 - 頻繁なスケジュール設定で発生する可能性のある複数の
Region is Unavailable
問題を修正 - 一部の高負荷書き込み状況で発生する可能性のある
Region is Unavailable
問題を修正 - キャッシュされた統計が最新である場合は、CPU使用率の上昇を避けるために、
mysql.stats_histograms
テーブルを頻繁に読み取らないようにします#24317
- 組み込み関数
ティクヴ
zstd
使用してリージョンスナップショットを圧縮し、大量のスケジュールやスケーリングが発生した場合にノード間で大きなスペースの違いが発生するのを防ぎます#10005複数のケースでOOM問題を解決する#10183
- 各モジュールのメモリ使用量追跡を追加する
- Raftエントリキャッシュが大きすぎるために発生するOOM問題を解決する
- GCタスクのスタックによって発生するOOM問題を解決する
- 一度にRaftログからメモリに取得するRaftエントリが多すぎるために発生する OOM の問題を解決します。
ホットスポット書き込みがあるときに、リージョンサイズの増加が分割速度を超えるという問題を軽減するために、リージョンをより均等に分割します#9785
TiFlash
Union All
TopN
Limit
をサポート- MPP モードで左外部結合と半反結合を含むカルテシアン積をサポート
- 実行中のDDL文と読み取り操作が相互にブロックされないようにロック操作を最適化します。
- TiFlashによる期限切れデータのクリーンアップを最適化
- TiFlashstorageレベルで
timestamp
列のクエリフィルターのさらなるフィルタリングをサポート - クラスター内に多数のテーブルがある場合のTiFlashの起動とスケーラビリティの速度を向上
- 不明なCPUで実行する場合のTiFlashの互換性を向上
PD
scatter region
スケジューラ#3602を追加した後の予期しない統計を回避するスケーリングプロセスにおける複数のスケジュール問題を解決する
ツール
バックアップと復元 (BR)
ティCDC
Dumpling
TiDB Lightning
バグ修正
ティビ
- 投影結果が空の場合にプロジェクト除去の実行結果が間違っている可能性がある問題を修正#23887
- 列に
NULL
値が含まれている場合に間違ったクエリ結果が表示される問題を修正しました#23891 - スキャンに仮想列#23886が含まれている場合、MPP プランの生成を禁止します。
- プラン キャッシュ#23187 #23144 #23304 #23290での
PointGet
とTableDual
の誤った再利用を修正 - オプティマイザがクラスター化インデックス#23906の
IndexMerge
プランを構築するときに発生するエラーを修正します。 - BIT型エラーの型推論を修正#23832
PointGet
演算子が存在する場合に一部のオプティマイザヒントが有効にならない問題を修正#23570- エラー#23893によりロールバック時にDDL操作が失敗する可能性がある問題を修正
- バイナリリテラル定数のインデックス範囲が正しく構築されない問題を修正#23672
- いくつかのケースで
IN
節の潜在的な誤った結果を修正#23889 - いくつかの文字列関数の誤った結果を修正#23759
- ユーザーは、テーブルに対して
REPLACE
操作を実行するためにINSERT
とDELETE
両方の権限が必要になります#23909 - ユーザーは、テーブルに対して
REPLACE
操作を実行するためにINSERT
とDELETE
両方の権限が必要になります#24070 - バイナリとバイトを誤って比較することで発生した間違った
TableDual
プランを修正#23846 - 一部のケースでプレフィックスインデックスとインデックス結合を使用することで発生するpanic問題を修正#24547 #24716 #24717
point get
の準備されたプラン キャッシュがトランザクション#24741のpoint get
ステートメントによって誤って使用される問題を修正しました。- 照合順序が
ascii_bin
またはlatin1_bin
場合に間違ったプレフィックスインデックス値を書き込む問題を修正しました#24569 - 進行中のトランザクションがGCワーカー#24591によって中断される可能性がある問題を修正
new-collation
が有効でnew-row-format
が無効の場合、クラスター化インデックスでポイントクエリが間違って実行される可能性があるバグを修正#24541- シャッフルハッシュ結合#24490のパーティションキーの変換をリファクタリングする
HAVING
節#24045を含むクエリのプラン構築時に発生するpanic問題を修正- 列プルーニングの改善により、
Apply
およびJoin
演算子の結果が間違ってしまう問題を修正しました#23887 - 非同期コミットからフォールバックしたプライマリロックが解決できないバグを修正#24384
- fm-sketch レコードの重複を引き起こす可能性のある統計の GC 問題を修正#24357
- 悲観的ロックが
ErrKeyExists
エラー#23799を受け取ったときに不必要な悲観的ロールバックを避ける - sql_modeに
ANSI_QUOTES
#24429含まれている場合に数値リテラルが認識されない問題を修正 INSERT INTO table PARTITION (<partitions>) ... ON DUPLICATE KEY UPDATE
のようなステートメントは、リストされていないパーティション#24746からデータを読み取ることを禁止します。- SQL文に
GROUP BY
とUNION
両方が含まれている場合に発生する可能性のあるindex out of range
エラーを修正します#24281 CONCAT
関数が照合順序#24296誤って処理する問題を修正collation_server
グローバル変数が新しいセッション#24156で有効にならない問題を修正
ティクヴ
- コプロセッサが
IN
式#9821の符号付きまたは符号なし整数型を適切に処理できない問題を修正 - SST ファイルをバッチで取り込んだ後に多くの空の領域が発生する問題を修正#964
- ファイル辞書ファイルが破損した後にTiKVが起動できなくなるバグを修正#9886
- 古い値の読み取りによって引き起こされる TiCDC OOM 問題を修正#9996 #9981
- 照合順序が
latin1_bin
#24548場合にクラスター化された主キー列のセカンダリ インデックスに空の値が含まれる問題を修正しました。 abort-on-panic
設定を追加すると、panicが発生したときに TiKV がコアダンプファイルを生成できるようになります。ユーザーは、コアダンプ#10216を有効にするために環境を正しく設定する必要があります。- TiKVがビジーでないときに発生する
point get
クエリのパフォーマンス低下の問題を修正しました#10046
- コプロセッサが
PD
TiFlash
- 時間型を整数型にキャストしたときに誤った結果が返される問題を修正しました
- 10秒以内に対応する
receiver
が見つからないバグを修正 cancelMPPQuery
に無効なイテレータが存在する可能性がある問題を修正bitwise
演算子の動作がTiDBと異なるバグを修正prefix key
使用時に範囲が重複することで発生するアラート問題を修正- 文字列型を整数型にキャストしたときに誤った結果が返される問題を修正しました
- 連続した高速書き込みによりTiFlash のメモリが不足する問題を修正
- テーブルGC中にヌルポインタの例外が発生する可能性がある問題を修正しました。
- ドロップされたテーブルにデータを書き込むときに発生するTiFlashpanicの問題を修正しました
- BR復元中にTiFlash がpanicになる可能性がある問題を修正
- 共有デルタインデックスを同時に複製するときに誤った結果が返される問題を修正
- 圧縮フィルター機能が有効になっているときに発生する可能性のあるpanicを修正
- TiFlash が非同期コミットからフォールバックしたロックを解決できない問題を修正
TIMEZONE
型のキャスト結果にTIMESTAMP
型が含まれている場合に誤った結果が返される問題を修正しました- セグメント分割中に発生するTiFlashpanic問題を修正
ツール
TiDB Lightning
バックアップと復元 (BR)
- いくつかの TiKV ノードの障害によりバックアップが中断される問題を修正#980
ティCDC
- Unified Sorter の同時実行の問題を修正し、役に立たないエラー メッセージをフィルタリングする#1678
- 冗長ディレクトリの作成により MinIO #1463でのレプリケーションが中断される可能性があるバグを修正
explicit_defaults_for_timestamp
セッション変数のデフォルト値をONに設定して、 MySQL 5.7ダウンストリームがアップストリームTiDB #1585と同じ動作を維持するようにします。io.EOF
の誤った処理によりレプリケーションが中断される可能性がある問題を修正#1633- TiCDCダッシュボード#1645のTiKV CDCエンドポイントCPUメトリックを修正する
- 場合によってはレプリケーションのブロックを回避するために
defaultBufferChanSize
増やす#1259 - Avro出力#1712でタイムゾーン情報が失われる問題を修正
- Unified Sorter 内の古い一時ファイルのクリーンアップをサポートし、
sort-dir
ディレクトリ#1742の共有を禁止します。 - 古いリージョンが多数存在する場合に発生する KV クライアントのデッドロック バグを修正#1599
--cert-allowed-cn
フラグ#1697の間違ったヘルプ情報を修正- MySQL #1750にデータを複製する際にSUPER権限を必要とする
explicit_defaults_for_timestamp
の更新を元に戻す - メモリオーバーフローのリスクを軽減するためにシンクフロー制御をサポートする#1840
- テーブル#1828を移動するときにレプリケーション タスクが停止する可能性があるバグを修正しました。
- TiCDC チェンジフィード チェックポイント#1759の停滞により TiKV GC セーフ ポイントがブロックされる問題を修正しました。