TiDB 6.5.4 リリースノート
発売日：2023年8月28日
TiDB バージョン: 6.5.4
互換性の変更
Cursor Fetch使用して大きな結果セットを取得するときにTiDBがメモリを大量に消費する問題を修正するために、TiDBは結果セットを自動的にディスクに書き込んでメモリを解放します＃43233 @ YangKeao- RocksDBの定期的な圧縮をデフォルトで無効にすることで、TiKV RocksDBのデフォルトの動作がv6.5.0より前のバージョンと一致するようになりました。この変更により、アップグレード後に大量の圧縮が行われることによるパフォーマンスへの影響を回避できます。さらに、TiKVでは2つの新しい設定項目
rocksdb.[defaultcf|writecf|lockcf].periodic-compaction-secondsとrocksdb.[defaultcf|writecf|lockcf].ttl導入され、RocksDB ＃15355 @ LykxSassinatorの定期的な圧縮を手動で設定できるようになりました。
行動の変化
- 複数の変更を含むトランザクションにおいて、更新イベントで主キーまたはNULL以外の一意のインデックス値が変更された場合、TiCDCはイベントを削除イベントと挿入イベントに分割し、すべてのイベントが挿入イベントに先行する削除イベントの順序に従うようにします。詳細については、 ドキュメント参照してください。
改善点
TiDB
TiKV
check_leaderリクエストに gzip 圧縮を使用してトラフィック＃14553 @ you06を削減しますMax gap of safe-tsとMin safe ts regionメトリックを追加し、tikv-ctl get-region-read-progressコマンドを導入して、resolved-tsと安全な ts の状態をより適切に観察および診断します＃15082 @ ekexium- TiKV で RocksDB の設定を公開し、ユーザーが TTL や定期的な圧縮などの機能を無効にできるようにします＃14873 @ LykxSassinator
- Titan マニフェストファイルを書き込むときにミューテックスを保持しないようにして、他のスレッドに影響を与えないようにします＃15351 @ Connor1996
- 圧縮メカニズムを最適化します。リージョンが分割されるときに、分割するキーがない場合、圧縮がトリガーされ、過剰な MVCC バージョン＃15282 @ SpadeA-Tangが排除されます。
PD
TiFlash
ツール
バックアップと復元 (BR)
TiCDC
- TiCDC が失敗後に再試行するときのステータス メッセージを改善する＃9483 @ asddongmen
- TiCDC が Kafka に同期する際に制限を超えるメッセージを処理する方法を最適化し、主キーのみをダウンストリーム＃9574 @ 3AceShowHandに送信することをサポートしました。
- ストレージシンクは、HEX形式のデータの16進エンコードをサポートするようになり、AWS DMS形式仕様＃9373 @ CharlesCheung96と互換性があります。
TiDB データ移行 (DM)
Dumpling
バグ修正
TiDB
STREAM_AGG()演算子＃40857 @ Dousir9を押し下げるとindex out of rangeエラーが報告される可能性がある問題を修正しましたCREATE TABLE文にサブパーティション定義＃41198 ＃41200 @ mjonssが含まれている場合、TiDB がすべてのパーティション情報を無視して非パーティションテーブルを作成する問題を修正しました。stale_read_ts設定が間違っているとPREPARE stmtデータを誤って読み取る可能性がある問題を修正＃43044 @ you06- ActivateTxn ＃42092 @ hawkingreiで起こりうるデータ競合の問題を修正しました
- バッチクライアントがタイムリーに再接続しない問題を修正＃44431 @ crazycs520
- SQLコンパイルエラーログが編集されない問題を修正＃41831 @ lance6716
- CTEと相関サブクエリを同時に使用すると、クエリ結果が不正確になったり、panicが発生する可能性がある問題を修正＃44649 ＃38170 ＃44774 @ winoros @ guo-shaoge
- TTLタスクが時間＃40109 @ YangKeaoで統計更新をトリガーできない問題を修正
- GC ロック解決ステップで一部の悲観的ロック＃45134 @ MyonKemintaが見逃される可能性がある問題を修正しました
- バイナリプロトコルを使用してTiDBに接続し、多数の
PREPAREとEXECUTEステートメント＃44612 @ wshwsh12を実行すると、メモリリークと実行時間が増加し続ける問題を修正しました。 INFORMATION_SCHEMA.DDL_JOBSテーブルのQUERY列目のデータ長が列定義＃42440 @ tiancaiamaoを超える可能性がある問題を修正しました- 多数のリージョンがあるが、
PrepareまたはExecute＃39605 @ djshow832を使用して一部の仮想テーブルをクエリするときにテーブル ID をプッシュダウンできないという PD OOM 問題を修正しました。 - パーティションテーブル＃41638 @ xuyifangreeneyesに新しいインデックスを追加した後、パーティションパーティションテーブルで統計の自動収集が正しくトリガーされない可能性がある問題を修正しました。
- 統計情報におけるSQL実行詳細のメモリ消費量が多すぎると、極端なケースでTiDB OOMが発生する問題を修正＃44047 @ wshwsh12
- バッチコプロセッサの再試行によって誤ったリージョン情報が生成される可能性があり、クエリが失敗する問題を修正しました＃44622 @ windtalker
indexMergeのクエリが＃45279 @ xzhangxian1008で強制終了されたときに発生するハングアップの問題を修正しました- システムテーブル
INFORMATION_SCHEMA.TIKV_REGION_STATUSをクエリすると、場合によっては誤った結果が返される問題を修正しました＃45531 @ Defined2014 tidb_enable_parallel_apply有効になっている場合、MPP モードでのクエリ結果が正しくない問題を修正＃45299 @ windtalkertidb_opt_agg_push_down有効になっている場合にクエリが誤った結果を返す可能性がある問題を修正＃44795 @ AilinKid- 仮想列＃41014 @ AilinKidによって発生する適切な物理プランが見つからない問題を修正しました
- 空の
processInfo＃43829 @ zimulalaによって引き起こされるpanic問題を修正 - 文中の
n負の数＃44786 @ xheboxの場合に文SELECT CAST(n AS CHAR)のクエリ結果が正しくない問題を修正しました - MySQLカーソルフェッチプロトコル使用時に、結果セットのメモリ消費量が
tidb_mem_quota_query上限を超え、TiDBのメモリオーバーフローが発生する問題を修正しました。修正後、TiDBは結果セットを自動的にディスクに書き込み、メモリを解放します＃43233 @ YangKeao - BR ＃44716 @ tiancaiamaoを使用して
AUTO_ID_CACHE=1テーブルを復元するときに発生するduplicate entryエラーを修正します - テーブルパーティション定義で
FLOOR()関数を使用してパーティション列を＃42323 @ jiyfhustに丸めた場合、SELECTステートメントがパーティションテーブルに対してエラーを返す問題を修正しました。 - 同時ビューによって DDL 操作がブロックされる可能性がある問題を修正＃40352 @ zeminzhou
datetime値が＃39336 @ xuyifangreeneyesと正しくないために統計収集タスクが失敗する問題を修正しました- クラスターのPDノードが交換された後、一部のDDL文が一定期間スタックする可能性がある問題を修正しました＃33908
- PD時間＃44822 @ zyguanに突然の変化があったときに
resolve lockハングする可能性がある問題を修正しました - インデックススキャン＃45126 @ wshwsh12における潜在的なデータ競合問題を修正
FormatSQL()メソッドが入力＃44542 @ hawkingreiの非常に長い SQL 文を適切に切り捨てることができない問題を修正しました。- 権限＃45320 @ Lloyd-Pottigerがなくてもユーザーが
INFORMATION_SCHEMA.TIFLASH_REPLICAテーブルの情報を表示できる問題を修正 DATETIMEまたはTIMESTAMP列を数値定数＃38361 @ yibin87と比較するときに、MySQL と動作が一致しない問題を修正しました。- インデックス結合のエラーによりクエリが停止する可能性がある問題を修正＃45716 @ wshwsh12
- 接続を切断すると go コルーチン リークが発生する可能性がある問題を修正＃46034 @ pingyu
tmp-storage-quota設定が＃45161 ＃26806 @ wshwsh12で有効にならない問題を修正- クラスター＃38484 @ hehechenでTiFlashノードがダウンした場合にTiFlashレプリカが利用できなくなる問題を修正しました。
Config.Labels同時に読み書きする場合に、データ競合により TiDB がクラッシュする問題を修正＃45561 @ gengliqi- クラスタが大きい場合、クライアントが定期的に更新される
min-resolved-tsPD OOMを引き起こす可能性がある問題を修正しました＃46664 @ HuSharp
TiKV
ttl-check-poll-interval設定項目がRawKV API V2 ＃15142 @ pingyuで有効にならない問題を修正- オンラインアンセーフリカバリがタイムアウト＃15346 @ Connor1996で中止されない問題を修正
FLASHBACK＃15258 @ overvenusを実行した後にリージョンマージがブロックされる可能性がある問題を修正しました- 1つのTiKVノードが分離され、別のノードが再起動されたときに発生する可能性のあるデータの不整合の問題を修正しました＃15035 @ overvenus
- データレプリケーション自動同期モード＃14975 @ nolouchで同期回復フェーズでQPSがゼロに低下する問題を修正しました。
- 暗号化により部分書き込み＃15080 @ tabokie中にデータ破損が発生する可能性がある問題を修正
- ストアハートビートの再試行回数を＃15184 @ nolouchに減らして、ハートビートストームの問題を修正しました。
- 保留中の圧縮バイト＃14392 @ Connor1996量が多い場合にトラフィック制御が機能しない可能性がある問題を修正しました。
- PDとTiKV間のネットワーク中断によりPITRが＃15279 @ YuJuncenで停止する可能性がある問題を修正しました
- TiCDC の古い値機能が有効になっているときに TiKV がより多くのメモリを消費する可能性がある問題を修正＃14815 @ YuJuncen
PD
- etcd がすでに起動しているがクライアントがまだ接続していない場合、クライアントを呼び出すと PD がpanic＃6860 @ HuSharpになる可能性がある問題を修正しました。
- リーダーが長時間退出できない問題を修正＃6918 @ bufferflies
- 配置ルールが
LOCATION_LABELS使用する場合、SQL とルールチェッカーが＃38605 @ nolouchと互換性がない問題を修正しました - PD が予期せず複数の学習者をリージョン＃5786 @ HunDunDMに追加する可能性がある問題を修正しました。
- ルールチェッカーがピア＃6559 @ nolouchを選択した場合に、不健全なピアを削除できない問題を修正しました
unsafe recoveryで不合格になった学習者のピアがauto-detectモード＃6690 @ v01dstarで無視される問題を修正
TiFlash
fspDATETIME、TIMESTAMP、またはTIMEデータ型＃7809 @ JaySon-Huangに変更した後にクエリが失敗する問題を修正しました- 領域＃7762 @ lidezhuの無効な範囲キーによりTiFlashデータが不整合になる問題を修正しました
- 同じ MPP タスク内に複数の HashAgg 演算子がある場合、MPP タスクのコンパイルに非常に長い時間がかかり、クエリのパフォーマンスに重大な影響を与える可能性がある問題を修正しました＃7810 @ SeaRise
- オンラインアンセーフリカバリ＃7671 @ hongyunyanを使用した後、 TiFlashの再起動に時間がかかりすぎる問題を修正しました
- TiFlash が＃6462 @ LittleFall割り算を行うときに
DECIMAL結果を誤って丸める問題を修正しました
ツール
バックアップと復元 (BR)
- BRで使用されるグローバルパラメータ
TableColumnCountLimitとIndexLimitデフォルト値を最大値＃45793 @ Leavrthに増やすことで、復元が失敗する問題を修正しました。 - PITR ＃43184 @ Leavrthで DDL メタ情報を処理するときに書き換えが失敗する問題を修正しました
- PITR実行中に関数の戻り値をチェックしないことで発生するpanicの問題を修正＃45853 @ Leavrth
- Amazon S3 ＃41916 ＃42033 @ 3pointer以外の S3 互換storage使用時に無効なリージョン ID が取得される問題を修正
- RawKVモード＃37085 @ pingyuのきめ細かなバックアップフェーズで発生する可能性のあるエラーを修正
- TiDBクラスタ＃40759 @ joccauにPITRバックアップタスクがない場合に頻度
resolve lockが高すぎる問題を修正 - リージョンリーダーシップの移行が発生すると、PITR ログバックアップの進行のレイテンシーが長くなるという問題を軽減します＃13638 @ YuJuncen
- BRで使用されるグローバルパラメータ
TiCDC
- ダウンストリームでエラーが発生し、 ＃9450 @ hicquで再試行すると、レプリケーションタスクが停止する可能性がある問題を修正しました。
- Kafka ＃9504 @ 3AceShowHandに同期するときに再試行間隔が短いためにレプリケーションタスクが失敗する問題を修正しました
- TiCDC がアップストリーム＃9430 @ sdojjyの 1 つのトランザクションで複数の一意のキー行を変更するときに同期書き込み競合を引き起こす可能性がある問題を修正しました。
- TiCDC が誤って名前変更 DDL 操作を同期する可能性がある問題を修正＃9488 ＃9378 ＃9531 @ asddongmen
- 下流で短期的な障害が発生したときにレプリケーションタスクが停止する可能性がある問題を修正＃9542 ＃9272 ＃9582 ＃9592 @ hicqu
- TiCDC ノードのステータスが＃9354 @ sdojjyに変化したときに発生する可能性のあるpanic問題を修正しました。
- Kafka Sink がエラーに遭遇すると、changefeed の進行＃9309 @ hicquが無期限にブロックされる可能性がある問題を修正しました。
- ダウンストリームが Kafka の場合、TiCDC がダウンストリームのメタデータを頻繁にクエリし、ダウンストリームに過度のワークロードが発生する問題を修正しました＃8957 ＃8959 @ Rustin170506
- 一部の TiCDC ノードがネットワークから分離されているときに発生する可能性のあるデータの不整合の問題を修正＃9344 @ CharlesCheung96
- 再実行ログが有効で、下流に例外＃9172 @ CharlesCheung96がある場合にレプリケーションタスクが停止する可能性がある問題を修正しました。
- PD ＃9294 @ asddongmenが一時的に利用できないために変更フィードが失敗する問題を修正しました
- TiDB または MySQL ＃9180 @ asddongmenにデータを複製するときに、下流の双方向レプリケーション関連の変数を頻繁に設定することによって発生する下流ログが多すぎる問題を修正しました。
- Avroプロトコルが
Enumタイプの値＃9259 @ 3AceShowHandを誤って識別する問題を修正しました
TiDB データ移行 (DM)
TiDB Lightning
- エンジンがデータ＃44867 @ D3Hunterをインポートしているときにディスク クォータ チェックがブロックされる可能性がある問題を修正しました
- ターゲットクラスタ＃45462 @ D3Hunterで SSL が有効になっているときにチェックサムがエラー
Region is unavailableを報告する問題を修正しました - エンコードエラーが正しく記録されない問題を修正＃44321 @ lyzx2001
- CSVデータ＃43284 @ lyzx2001をインポートする際にルートがpanicになる可能性がある問題を修正
- 論理インポートモードでテーブル A をインポートすると、テーブル B が存在しないと誤って報告される可能性がある問題を修正しました＃44614 @ dsdashun
NEXT_GLOBAL_ROW_ID＃45427 @ lyzx2001を保存するときにデータ型が間違っている問題を修正しましたchecksum = "optional"＃45382 @ lyzx2001のときにチェックサムがエラーを報告する問題を修正しました- PDクラスタアドレスが＃43436 @ lichunzhuに変更されるとデータのインポートが失敗する問題を修正しました
- 一部のPDノードが＃43400 @ lichunzhuで失敗した場合にデータのインポートが失敗する問題を修正しました
- 自動増分列を持つテーブルが
AUTO_ID_CACHE=1設定すると、ID アロケータのベース値が正しくなくなる＃46100 @ D3Hunterという問題を修正しました
Dumpling
TiDBBinlog