TiDB 6.6.0 Release Notes

发版日期：2023 年 2 月 20 日

TiDB 版本：6.6.0-DMR

试用链接：快速体验 | 下载离线包

在 6.6.0 版本中，你可以获得以下关键特性：

功能详情

可扩展性

• 支持下一代 Partitioned Raft KV 存储引擎（实验特性）#11515 #12842 @busyjay @tonyxuqqi @tabokie @bufferflies @5kbpers @SpadeA-Tang @nolouch

  TiDB v6.6.0 之前，TiKV 基于 Raft 的存储引擎使用一个单一的 RocksDB 实例存储该 TiKV 实例所有 Region 的数据。为了更平稳地支持更大的集群，从 TiDB v6.6.0 开始，引入了一个全新的 TiKV 存储引擎，该引擎使用多个 RocksDB 实例来存储 TiKV 的 Region 数据，每个 Region 的数据都独立存储在单独的 RocksDB 实例中。新引擎能够更好地控制 RocksDB 实例的文件数和层级，并实现 Region 间数据操作的物理隔离，避免互相影响，还支持平稳管理更多的数据。可以理解为 TiKV 通过分区管理多个 RocksDB 实例，这也是该特性 Partitioned Raft KV 名字的由来。该功能的主要优势在于更好的写入性能，更快的扩缩容，相同硬件下可以支持更大的数据，也能支持更大的集群规模。

  该功能目前是实验特性，不推荐在生产环境中使用。

  更多信息，请参考用户文档。

• 支持 DDL 分布式并行执行框架（实验特性）#37125 @zimulala

  在过去的版本中，整个 TiDB 集群中仅允许一个 TiDB 实例作为 DDL Owner 处理 Schema 变更任务。为了进一步提升 DDL 的并发性，TiDB v6.6.0 版本引入了 DDL 分布式并行执行框架，支持集群中所有的 TiDB 实例并发执行同一个任务的 StateWriteReorganization 阶段，加速 DDL 的执行。该功能由系统变量 tidb_ddl_distribute_reorg 控制是否开启，目前只支持 Add Index 操作。

性能

• 支持悲观锁队列的稳定唤醒模型 #13298 @MyonKeminta

  如果业务场景存在单点悲观锁冲突频繁的情况，原有的唤醒机制无法保证事务获取锁的时间，造成长尾延迟高，甚至获取锁超时。自 v6.6.0 起，你可以通过设置系统变量 tidb_pessimistic_txn_aggressive_locking 为 ON 开启悲观锁的稳定唤醒模型。在该唤醒模型下，队列的唤醒顺序可被严格控制，避免无效唤醒造成的资源浪费。在锁冲突严重的场景中，能够减少长尾延时，降低 P99 响应时间。

  更多信息，请参考用户文档。

• 批量聚合数据请求 #39361 @cfzjywxk @you06

  TiDB 向 TiKV 发送数据请求时，会根据数据所在的 Region 将请求编入不同的子任务，每个子任务只处理单个 Region 的请求。当访问的数据离散度很高时，即使数据量不大，也会生成众多的子任务，进而产生大量 RPC 请求，消耗额外的时间。自 v6.6.0 起，TiDB 支持将发送到相同 TiKV 实例的数据请求部分合并，减少子任务的数量和 RPC 请求的开销。在数据离散度高且 gRPC 线程池资源紧张的情况下，批量化请求能够将性能提升 50% 以上。

  此特性默认打开，可通过系统变量 tidb_store_batch_size 设置批量请求的大小。

• 解除执行计划缓存对 LIMIT 子句的限制 #40219 @fzzf678

  TiDB v6.6.0 移除了执行计划缓存的限制，带有变量的 LIMIT 子句可以进入执行计划缓存，如 LIMIT ? 或者 LIMIT 10, ?。这使得更多的 SQL 能够从计划缓存中获益，提升执行效率。目前出于安全考虑，仅支持缓存 ? 参数值不大于 10000 的执行计划。

  更多信息，请参考用户文档。

• TiFlash 引擎支持带压缩的数据交换 #6620 @solotzg

  为了协同多节点进行计算，TiFlash 引擎需要在不同节点中进行数据交换。当需要交换的数据量非常大时，数据交换的性能可能影响整体计算效率。在 v6.6.0 版本中，TiFlash 引擎引入压缩机制，在必要时对需要交换的数据进行压缩，然后进行交换，从而提升数据交换效率。

  更多信息，请参考用户文档。

• TiFlash 支持 Stale Read 功能 #4483 @hehechen

  Stale Read 功能是从 TiDB v5.1.1 开始正式引入的，支持读取指定时间点或时间范围内的历史数据。Stale Read 允许直接读取 TiKV 本地副本数据，可以降低读取延迟，提升查询性能。在 v6.6.0 之前的版本中，TiFlash 并不支持 Stale Read 功能，即使 Stale Read 查询的表包含 TiFlash 副本，TiDB 也只能使用 TiKV 副本进行查询。

  在 v6.6.0 中，TiFlash 开始支持 Stale Read 功能。当使用 AS OF TIMESTAMP 语法或 tidb_read_staleness 系统变量等方式查询历史数据时，如果查询的表包含 TiFlash 副本，优化器可以选择 TiFlash 副本读取对应的数据，从而进一步提高查询性能。

  更多信息，请参考用户文档。

• 支持下推字符串函数 regexp_replace 至 TiFlash #6115 @xzhangxian1008

稳定性

• 支持基于资源组的资源管控（实验特性）#38825 @nolouch @BornChanger @glorv @tiancaiamao @Connor1996 @JmPotato @hnes @CabinfeverB @HuSharp

  你可以为 TiDB 集群创建资源组，将不同的数据库用户映射到对应的资源组中，根据需要设置每个资源组的配额。当集群资源紧张时，来自同一个资源组的会话所使用的全部资源将被限制在配额内，避免其中一个资源组过度消耗，从而影响其他资源组中的会话正常运行。TiDB 在 Grafana 上提供了内置视图展示资源的实际使用情况，协助你更合理地配置资源。

  资源管控特性的引入对 TiDB 具有里程碑的意义。它能够将一个分布式数据库集群划分成多个逻辑单元，即使个别单元对资源过度使用，也不会挤占其他单元所需的资源。利用该特性：

  • 你可以将多个来自不同系统的中小型应用合入一个 TiDB 集群中，个别应用的负载提升，不会影响其他应用的正常运行。而在系统负载较低的时候，繁忙的应用即使超过设定的读写配额，也仍然可以被分配到所需的系统资源，达到资源的最大化利用。
  • 你可以选择将所有测试环境合入一个集群，或者将消耗较大的批量任务编入一个单独的资源组，在保证重要应用获得必要资源的同时，提升硬件利用率，降低运行成本。

  此外，合理利用资源管控特性可以减少集群数量，降低运维难度及管理成本。

  在 v6.6.0 中，启用资源管控特性需要同时打开 TiDB 的全局变量 tidb_enable_resource_control 及 TiKV 的配置项 resource-control.enabled。当前支持的限额方式基于“用量”（Request Unit，即 RU），RU 是 TiDB 对 CPU、I/O 等系统资源的统一抽象单位。

  更多信息，请参考用户文档。

• 绑定历史执行计划 GA #39199 @fzzf678

  在 v6.5.0 中，TiDB 扩展了 CREATE [GLOBAL | SESSION] BINDING 语句中的绑定对象，支持根据历史执行计划创建绑定。在 v6.6.0 中该功能 GA，执行计划的选择不仅限于当前 TiDB 节点，任意 TiDB 节点产生的历史执行计划都可以被选为 SQL Binding 的目标，进一步提升了功能的易用性。

  更多信息，请参考用户文档。

• 新增若干优化器 Hint #39964 @Reminiscent

  TiDB 在 v6.6.0 中增加了若干优化器 Hint，用来控制 LIMIT 操作的执行计划选择：

  • ORDER_INDEX()：提示优化器使用指定的索引，读取数据时保持索引的顺序，生成类似 Limit + IndexScan(keep order: true) 的计划。
  • NO_ORDER_INDEX()：提示优化器使用指定的索引，读取数据时不保持顺序，生成类似 TopN + IndexScan(keep order: false) 的计划。

  持续引入优化器 Hint 为用户提供了更多的干预手段，有助于解决 SQL 性能问题，并提升了整体性能的稳定性。

• 支持 DDL 动态资源管控（实验特性）#38025 @hawkingrei

  TiDB v6.6.0 版本引入了 DDL 动态资源管控，通过自动控制 DDL 的 CPU 使用量，尽量降低 DDL 变更任务对线上业务的影响。该功能仅在开启 DDL 分布式并行执行框架后生效。

高可用

• Placement Rules in SQL 支持指定 SURVIVAL_PREFERENCE #38605 @nolouch

  SURVIVAL_PREFERENCES 为数据提供了生存偏好设置，从而提高数据的容灾生存能力。通过指定 SURVIVAL_PREFERENCE，你可以控制：

  • 对于跨云区域部署的 TiDB 集群，当某个云区域产生故障时，指定数据库或表能在另一个云区域继续提供服务。
  • 对于单个云区域内部署的 TiDB 集群，当某个可用区产生故障时，指定数据库或表能在另一个可用区继续提供服务。

  更多信息，请参考用户文档。

• 支持通过 FLASHBACK CLUSTER TO TIMESTAMP 命令闪回 DDL 操作 #14045 @Defined2014 @JmPotato

  FLASHBACK CLUSTER TO TIMESTAMP 语句支持在 Garbage Collection (GC) life time 内快速回退整个集群到指定的时间点。在 TiDB v6.6.0 版本中，该功能新支持撤销 DDL 操作，适用于快速撤消集群的 DML 或 DDL 误操作、支持分钟级别的快速回退集群、支持在时间线上多次回退以确定特定数据更改发生的时间。

  更多信息，请参考用户文档。

SQL 功能

• 支持兼容 MySQL 语法的外键约束（实验特性）#18209 @crazycs520

  TiDB v6.6.0 引入了兼容 MySQL 语法的外键约束功能，支持在表内、表间关联数据并进行约束校验，并且支持级联操作。该特性有助于将 MySQL 上的应用迁移到 TiDB、保持数据一致性、提升数据质量并且方便数据建模。

  更多信息，请参考用户文档。

• 支持 MySQL 兼容的多值索引 (Multi-Valued Indexes)（实验特性）#39592 @xiongjiwei @qw4990

  TiDB 在 v6.6.0 引入了 MySQL 兼容的多值索引 (Multi-Valued Indexes)。过滤 JSON 列中某个数组的值是常见的操作，但普通索引对这类操作起不到加速作用。在数组上创建多值索引能够大幅提升过滤的性能。如果 JSON 列中的某个数组上存在多值索引，那么可以利用多值索引过滤带有 MEMBER OF()、JSON_CONTAINS()、JSON_OVERLAPS() 函数的检索条件，从而减少大量的 I/O 消耗，提升运行速度。

  多值索引的引入，进一步增强了 TiDB 对 JSON 类型的支持，同时也提升了 TiDB 对 MySQL 8.0 的兼容性。

  更多信息，请参考用户文档。

数据库管理

• 支持配置只读存储节点来执行资源消耗型任务 @v01dstar

  在生产环境中，可能有部分只读操作定期消耗大量资源，对整个集群的性能产生影响，比如备份和大规模数据读取分析等。TiDB v6.6.0 支持配置只读存储节点，用来执行重度资源消耗的只读任务，避免对线上业务的影响。目前支持 TiDB、TiSpark 和 BR 读取只读节点上的数据。你可以按照操作步骤配置只读存储节点，并通过 TiDB 系统变量 tidb_replica_read、TiSpark 配置项 spark.tispark.replica_read 或 br 命令行参数 --replica-read-label 指定数据读取位置，以保证集群性能稳定。

  更多信息，请参考用户文档。

• 支持动态修改参数 store-io-pool-size #13964 @LykxSassinator

  TiKV 中的 raftstore.store-io-pool-size 用于设定处理 Raft I/O 任务的线程池中线程的数量，需要在 TiKV 性能调优时进行调整。在 v6.6.0 之前，这个参数无法动态修改。v6.6.0 支持动态修改该参数，提高了 TiKV 性能调优的灵活性。

  更多信息，请参考用户文档。

• 支持指定集群初次启动时的初始化 SQL 脚本 #35624 @morgo

  TiDB 集群初次启动时，可通过命令行参数 --initialize-sql-file 指定执行的 SQL 脚本。该功能可用于修改系统变量的值、创建用户或分配权限等。

  更多信息，请参考用户文档。

• TiDB Data Migration (DM) 集成了 TiDB Lightning 的物理导入模式（实验特性）@lance6716

  在 v6.6.0 版本中，DM 的全量迁移能力集成了 TiDB Lightning 的物理导入模式，使得 DM 全量数据迁移的性能最高可提升 10 倍，大大缩短了大数据量场景下的迁移时间。在 v6.6.0 以前，数据量较多的场景下，需要单独配置 TiDB Lightning 的物理导入模式任务来进行快速的全量数据迁移，再用 DM 来进行增量数据迁移，配置较为复杂。从 v6.6.0 起，在迁移大数据量的场景，无需再配置 TiDB Lightning 的任务，使用一个 DM 任务即可完成。

  更多信息，请参考用户文档。

• TiDB Lightning 新增配置文件参数 "header-schema-match" 用于解决源文件里的列名和目标表的列名不匹配的问题 @dsdashun

  在 v6.6.0 版本中，TiDB Lightning 新增配置文件参数 "header-schema-match"，默认取值为 true，表示源 CSV 文件第一行有表的列名信息，且和目标表列名保持一致。如果 CSV 表头中的字段名和目标表的列名不匹配，此时可以将该配置设置为 false，TiDB Lightning 将忽略不匹配的问题，继续按目标表中的列顺序导入数据。

  更多信息，请参考用户文档。

• TiDB Lightning 向 TiKV 传输键值对时支持启用压缩传输 #41163 @gozssky

  自 v6.6.0 起，TiDB Lightning 支持将本地编码排序后的键值对在网络传输时进行压缩再发送到 TiKV，从而减少网络传输的数据量，降低网络带宽开销。之前版本不支持该功能，在数据量较大的情况下，TiDB Lightning 对网络带宽要求相对较高，且会产生较高的流量费。

  该功能默认关闭，你可以通过将 TiDB Lightning 配置项 compress-kv-pairs 设置为 "gzip" 或者 "gz" 开启此功能。

  更多信息，请参考用户文档。

• TiKV-CDC 工具 GA，支持订阅 RawKV 的数据变更 #48 @zeminzhou @haojinming @pingyu

  TiKV-CDC 是一个 TiKV 集群的 CDC (Change Data Capture) 工具。TiKV 可以独立于 TiDB，与 PD 构成 KV 数据库，此时的产品形态为 RawKV。TiKV-CDC 支持订阅 RawKV 的数据变更，并实时同步到下游 TiKV 集群，从而实现 RawKV 的跨集群复制。

  更多信息，请参考用户文档。

• TiCDC 支持在 Kafka 同步任务上开启单表的横向扩展功能，将单表的同步任务下发到多个 TiCDC 节点上执行（实验特性）#7720 @overvenus

  在 v6.6.0 之前，当上游单表写入量较大时，单表的复制能力无法横向扩展导致同步延迟增加。自 TiCDC v6.6.0 起，下游为 Kafka 的同步任务可以将上游单表的同步任务下发到多个 TiCDC 节点上执行，实现单表同步性能的横向扩展。

  更多信息，请参考用户文档。

• GORM 已添加 TiDB 集成测试。目前 TiDB 已成为 GORM 默认支持的数据库 #6014 @Icemap

  • GORM MySQL driver 在 v1.4.6 中，新增 TiDB AUTO_RANDOM 特性适配 #104
  • GORM MySQL driver 在 v1.4.6 中，修复了连接 TiDB 时，在 AutoMigrate 期间无法更改 Unique 字段的非 Unique 属性的问题 #105
  • GORM 文档提及 TiDB 作为默认数据库 #638

  更多信息，请参考 GORM 用户文档。

可观测性

• 支持在 TiDB Dashboard 中快速绑定执行计划 #781 @YiniXu9506

  TiDB v6.6.0 中引入了执行计划快速绑定功能，你可以在 TiDB Dashboard 中快速完成 SQL 语句与特定计划的绑定。

  通过提供友好的界面，简化了在 TiDB Dashboard 上绑定 SQL 执行计划的过程，提高绑定过程的效率和用户体验。

  更多信息，请参考用户文档。

• 为执行计划缓存增加告警 @qw4990

  当执行计划无法被缓存时，TiDB 会通过告警的方式提示该计划无法被缓存的原因，降低诊断的难度。例如：

  mysql> PREPARE st FROM 'SELECT * FROM t WHERE a<?';
  Query OK, 0 rows affected (0.00 sec)
  
  mysql> SET @a='1';
  Query OK, 0 rows affected (0.00 sec)
  
  mysql> EXECUTE st USING @a;
  Empty set, 1 warning (0.01 sec)
  
  mysql> SHOW WARNINGS;
  +---------+------+----------------------------------------------+
  | Level   | Code | Message                                      |
  +---------+------+----------------------------------------------+
  | Warning | 1105 | skip plan-cache: '1' may be converted to INT |
  +---------+------+----------------------------------------------+
  

  在以上例子中，优化器进行了非 INT 类型到 INT 类型的转换，产生的执行计划可能随着参数变化而存在风险，因此 TiDB 不缓存该计划。

  更多信息，请参考用户文档。

• 在慢查询中增加告警字段 #39893 @time-and-fate

  TiDB v6.6.0 慢查询日志中新增了 Warnings 字段，以帮助诊断查询性能问题。该字段以 JSON 格式记录慢查询语句在执行过程中产生的警告信息。你也可以在 TiDB Dashboard 的慢查询页面中查看 Warnings 信息。

  更多信息，请参考用户文档。

• 自动捕获执行计划的生成 #38779 @Yisaer

  在执行计划问题的排查过程中，PLAN REPLAYER 能够协助保存现场，提升诊断的效率。但在个别场景中，一些执行计划的生成无法任意重现，给诊断工作增加了难度。

  针对这类场景，在 TiDB v6.6.0 中，PLAN REPLAYER 扩展了自动捕获的能力。通过 PLAN REPLAYER CAPTURE 命令，你可以提前注册目标 SQL 语句，也可以同时指定目标执行计划。当 TiDB 检测到执行的 SQL 语句或执行计划与注册目标匹配时，会自动生成并打包 PLAN REPLAYER 的信息，提升执行计划不稳定时的诊断效率。

  要启用该功能，需要将系统变量 tidb_enable_plan_replayer_capture 的值设为 ON。

  更多信息，请参考用户文档。

• 持久化 statements summary（实验特性）#40812 @mornyx

  在 TiDB v6.6.0 之前的版本中，statements summary 数据维护在内存中，一旦 TiDB 发生重启，数据便会全部丢失。开启 statements summary 持久化特性后，历史数据将定期被写入磁盘，相关系统表的查询数据源也将由内存变为磁盘。此时，TiDB 重启后，历史数据仍然会保留。

  更多信息，请参考用户文档。

安全

• TiFlash 支持 TLS 证书自动轮换 #5503 @ywqzzy

  TiDB v6.6.0 引入了 TiFlash TLS 证书自动轮换功能。在开启组件间加密传输的 TiDB 集群上，当 TiFlash 的 TLS 证书过期需要重新签发时，支持自动加载新的 TiFlash TLS 证书，无需重启 TiDB 集群。而且，TiDB 集群内部组件之间 TLS 过期轮换不影响 TiDB 集群的正常使用，保障了 TiDB 集群的高可用。

  更多信息，请参考用户文档。

• TiDB Lightning 支持通过 AWS IAM 角色的密钥以及会话令牌来访问 S3 数据 #40750 @okJiang

  在 v6.6.0 之前，TiDB Lightning 仅支持通过 AWS IAM 用户密钥访问 S3 的数据，无法使用临时会话令牌。自 v6.6.0 起，TiDB Lightning 支持通过 AWS IAM 角色密钥 + 会话令牌的方式来访问 S3 数据，以提高安全性。

  更多信息，请参考用户文档。

遥测

• 自 2023 年 2 月 20 日起，新发布的 TiDB 和 TiDB Dashboard 版本（含 v6.6.0），默认关闭遥测功能，即默认不再收集使用情况信息分享给 PingCAP。如果升级至这些版本前使用默认的遥测配置，则升级后遥测功能处于关闭状态。具体的版本可参考 TiDB 版本发布时间线。
• 从 v1.11.3 起，新部署的 TiUP 默认关闭遥测功能，即默认不再收集使用情况信息。如果从 v1.11.3 之前的 TiUP 版本升级至 v1.11.3 或更高 TiUP 版本，遥测保持升级前的开启或关闭状态。

兼容性变更

MySQL 兼容性

• 支持兼容 MySQL 语法的外键约束（实验特性）#18209 @crazycs520

  更多信息，请参考本文的 SQL 部分以及用户文档。

• 支持兼容 MySQL 语法的多值索引（实验特性）#39592 @xiongjiwei @qw4990

  更多信息，请参考本文的 SQL 部分以及用户文档。

系统变量

配置文件参数

其他

• 支持动态修改参数 store-io-pool-size，增加了 TiKV 性能调优的灵活性。
• 解除了执行计划缓存对 LIMIT 子句的限制，提升了执行效率。
• v6.6.0 及以上的 BR 版本不支持恢复数据到 v6.1.0 及以下版本的集群。
• 自 v6.6.0 起，由于可能存在正确性问题，分区表目前不再支持修改列类型。

改进提升

• TiDB

  • 改进了 TTL 后台清理任务的调度机制，允许将单个表的清理任务拆分成若干子任务并调度到多个 TiDB 节点同时运行 #40361 @YangKeao
  • 优化了在设置了非默认的 delimiter 后多语句返回结果的列名显示 #39662 @mjonss
  • 优化了生成警告信息后的语句执行效率 #39702 @tiancaiamao
  • 为 ADD INDEX 支持分布式数据回填（实验特性）#37119 @zimulala
  • 允许使用 CURDATE() 作为列的默认值 #38356 @CbcWestwolf
  • 增加了 partial order prop push down 对 LIST 类型分区表的支持 #40273 @winoros
  • 为 Optimizer Hints 和执行计划绑定的冲突新增报错信息 #40910 @Reminiscent
  • 优化了 Plan Cache 策略，避免在一些场景使用 Plan Cache 时产生不优计划 #40312 #40218 #40280 #41136 #40686 @qw4990
  • 定期清理过期的 Region 缓存，避免内存泄漏和性能下降问题 #40461 @sticnarf
  • 不支持在分区表上执行 MODIFY COLUMN #39915 @wjhuang2016
  • 禁止重命名分区表所依赖的列 #40150 @mjonss
  • 优化了删除分区表所依赖的列的错误提示 #38739 @jiyfhust
  • 增加了 FLASHBACK CLUSTER 在检查 min-resolved-ts 失败后的重试机制 #39836 @Defined2014

• TiKV

  • 在 partitioned-raft-kv 模式下优化了一些参数的默认值：TiKV 配置项 storage.block-cache.capacity 的默认值由 45% 调整为 30%，region-split-size 的默认值由 96MiB 调整为 10GiB。当沿用 raft-kv 模式且 enable-region-bucket 为 true 时，region-split-size 默认调整为 1GiB #12842 @tonyxuqqi
  • 支持在 Raftstore 异步写入中进行优先级调度 #13730 @Connor1996
  • 支持在小于 1 core 的 CPU 下启动 TiKV #13586 #13752 #14017 @andreid-db
  • 优化 Raftstore slow score 探测的新机制，新增 evict-slow-trend-scheduler #14131 @innerr
  • 强制 RocksDB 的 block cache 为共享的，不再支持按照 CF 单独设置 block cache #12936 @busyjay

• PD

  • 增加全局内存阈值管理功能以缓解 OOM 问题（实验特性）#5827 @hnes
  • 增加 GC Tuner 功能以缓解 GC 压力（实验特性）#5827 @hnes
  • 新增 evict-slow-trend-scheduler 调度器用于检测和调度异常节点 #5808 @innerr
  • 新增 keyspace manager，支持对 keyspace 的管理 #5293 @AmoebaProtozoa

• TiFlash

  • 提供独立的 MVCC 位图过滤器，解耦 TiFlash 整体数据扫描流程中的 MVCC 过滤操作，为后续优化数据扫描流程提供基础 #6296 @JinheLin
  • 减少 TiFlash 在没有查询的情况下的内存使用，最高减少 30% #6589 @hongyunyan

• Tools

  • Backup & Restore (BR)

    • 优化 TiKV 端下载日志备份文件的并发度，提升常规场景下 PITR 恢复的性能 #14206 @YuJuncen

  • TiCDC

    • 支持 Batch UPDATE DML 语句，提升 TiCDC 的同步性能 #8084 @amyangfei
    • 采用异步模式实现 MQ sink 和 MySQL sink，提升 sink 的吞吐能力 #5928 @hicqu @hi-rustin

  • TiDB Data Migration (DM)

    • 优化了 DM 的告警规则和内容 #7376 @D3Hunter

      之前 "DM_XXX_process_exits_with_error" 类告警是遇到相关错误即报警，但有些告警是由于数据库连接长时间 idle 导致的，重连后即可恢复。为了减少此类报警，DM 将错误分为了可自动恢复错误和不可自动恢复错误：

      • 对于可自动恢复的错误，只有在 2 分钟内发生超过 3 次时才报警。
      • 对于不可自动恢复的错误，维持原有行为，立即报警。

    • 新增 async/batch relay writer 以优化 relay 性能 #4287 @GMHDBJD

  • TiDB Lightning

    • 物理导入模式支持 Keyspace #40531 @iosmanthus
    • 支持通过 lightning.max-error 设置最大冲突个数 #40743 @dsdashun
    • 支持导入带有 BOM header 的 CSV 数据文件 #40744 @dsdashun
    • 优化遇到 TiKV 限流错误时的处理逻辑，改为尝试其他空闲的 Region #40205 @lance6716
    • 导入时关闭对表外键的检查 #40027 @gozssky

  • Dumpling

    • 支持导出外键相关设置 #39913 @lichunzhu

  • sync-diff-inspector

    • 新增 skip-non-existing-table 参数，当下游数据库的表在上游不存在时，可配置该参数为 true 跳过对上下游数据库表数量不一致场景的校验 #692 @lichunzhu @liumengya94

错误修复

• TiDB

  • 修复了收集统计信息任务因为错误的 datetime 值而失败的问题 #39336 @xuyifangreeneyes
  • 修复了创建表之后 stats_meta 未创建的问题 #38189 @xuyifangreeneyes
  • 修复了 DDL 回填数据时频繁出现的事务写冲突问题 #24427 @mjonss
  • 修复了部分情况下空表无法使用 ingest 模式添加索引的问题 #39641 @tangenta
  • 修复了同一事务中不同 SQL 的慢日志 wait_ts 相同的问题 #39713 @TonsnakeLin
  • 修复了在添加列的过程中删除行记录时报 Assertion Failed 错误的问题 #39570 @wjhuang2016
  • 修复了修改列类型时报 not a DDL owner 错误的问题 #39643 @zimulala
  • 修复了在 AUTO_INCREMENT 列自动分配值耗尽后插入一行不报错的问题 #38950 @Dousir9
  • 修复了创建表达式索引时报 Unknown column 错误的问题 #39784 @Defined2014
  • 修复了当生成的列表达式包含表名时，重命名表后无法插入数据的问题 #39826 @Defined2014
  • 修复了当列处于 write-only 状态时 INSERT ignore 语句无法正确填充默认值的问题 #40192 @YangKeao
  • 修复了关闭资源管控模块时未能释放资源的问题 #40546 @zimulala
  • 修复了 TTL 任务不能及时触发统计信息更新的问题 #40109 @YangKeao
  • 修复了 TiDB 构造 key 范围时对 NULL 值处理不当，导致读取非预期数据的问题 #40158 @tiancaiamao
  • 修复了 MODIFY COLUMN 同时修改列默认值导致写入非法值的问题 #40164 @wjhuang2016
  • 修复了表 Region 比较多时因 Region 缓存失效导致加索引效率低下的问题 #38436 @tangenta
  • 修复了分配自增 ID 时的数据竞争问题 #40584 @Dousir9
  • 修复了 JSON 的 not 表达式实现与 MySQL 实现不兼容的问题 #40683 @YangKeao
  • 修复了并发视图模式可能会造成 DDL 操作卡住的问题 #40352 @zeminzhou
  • 修复了并发对分区表执行 MODIFY COLUMN 的 DDL 操作时有可能会造成数据不一致的问题 #40620 @mjonss @mjonss
  • 修复了使用 caching_sha2_password 方式进行认证但不指定密码导致的 "Malformed packet" 问题 #40831 @dveeden
  • 修复了在执行 TTL 任务时，如果表的主键包含 ENUM 类型的列任务会失败的问题 #40456 @lcwangchao
  • 修复了某些被 MDL 阻塞的 DDL 操作无法在 mysql.tidb_mdl_view 中查询到的问题 #40838 @YangKeao
  • 修复了 DDL 在 ingest 过程中可能会发生数据竞争的问题 #40970 @tangenta
  • 修复了在改变时区后 TTL 任务可能会错误删除某些数据的问题 #41043 @lcwangchao
  • 修复了 JSON_OBJECT 在某些情况下会报错的问题 #39806 @YangKeao
  • 修复了 TiDB 在初始化时有可能死锁的问题 #40408 @Defined2014
  • 修复了内存重用导致的在某些情况下系统变量的值会被错误修改的问题 #40979 @lcwangchao
  • 修复了 ingest 模式下创建唯一索引可能会导致数据和索引不一致的问题 #40464 @tangenta
  • 修复了并发 truncate 同一张表时，部分 truncate 操作无法被 MDL 阻塞的问题 #40484 @wjhuang2016
  • 修复了 SHOW PRIVILEGES 命令显示的权限列表不完整的问题 #40591 @CbcWestwolf
  • 修复了在添加唯一索引时有可能会 panic 的问题 #40592 @tangenta
  • 修复了执行 ADMIN RECOVER 语句可能会造成索引数据损坏的问题 #40430 @xiongjiwei
  • 修复了表达式索引中含有 CAST 时对表进行查询可能出错的问题 #40130 @xiongjiwei
  • 修复了某些情况下唯一索引仍然可能产生重复数据的问题 #40217 @tangenta
  • 修复了使用 Prepare 或 Execute 查询某些虚拟表时无法将表 ID 下推，导致在大量 Region 的情况下 PD OOM 的问题 #39605 @djshow832
  • 修复了添加索引时可能导致数据竞争的问题 #40879 @tangenta
  • 修复了由虚拟列引发的 can't find proper physical plan 问题 #41014 @AilinKid
  • 修复了当动态裁剪模式下的分区表有 global binding 时，TiDB 重启失败的问题 #40368 @Yisaer
  • 修复了 auto analyze 导致 graceful shutdown 耗时长的问题 #40038 @xuyifangreeneyes
  • 修复了 IndexMerge 算子在触发内存限制行为时可能导致 TiDB server 崩溃的问题 #41036 @guo-shaoge
  • 修复了在分区表上执行 SELECT * FROM table_name LIMIT 1 查询时，执行速度慢的问题 #40741 @solotzg

• TiKV

  • 修复转换 const Enum 类型到其他类型时报错的问题 #14156 @wshwsh12
  • 修复 Resolved TS 导致网络流量升高的问题 #14092 @overvenus
  • 修复 TiDB 中事务在执行悲观 DML 失败后，再执行其他 DML 时，如果 TiDB 和 TiKV 之间存在网络故障，可能会造成数据不一致的问题 #14038 @MyonKeminta

• PD

  • 修复 Region Scatter 任务会生成非预期的多余副本的问题 #5909 @HundunDM
  • 修复 Online Unsafe Recovery 功能在 auto-detect 模式下卡住并超时的问题 #5753 @Connor1996
  • 修复 replace-down-peer 在特定条件下执行变慢的问题 #5788 @HundunDM
  • 修复调用 ReportMinResolvedTS 过于频繁导致 PD OOM 的问题 #5965 @HundunDM

• TiFlash

  • 修复查询 TiFlash 相关的系统表可能会卡住的问题 #6745 @lidezhu
  • 修复半连接在计算笛卡尔积时，使用内存过量的问题 #6730 @gengliqi
  • 修复对 DECIMAL 数据类型进行除法运算时结果不舍入的问题 #6393 @LittleFall
  • 修复了 TiFlash 查询中由于 start_ts 无法唯一标识一个 MPP query 导致 MPP query 可能会被误取消的问题 #43426 @hehechen

• Tools

  • Backup & Restore (BR)

    • 修复恢复日志备份时热点 Region 导致恢复失败的问题 #37207 @Leavrth
    • 修复恢复数据到正在运行日志备份的集群，导致日志备份文件无法恢复的问题 #40797 @Leavrth
    • 修复 PITR 功能不支持 CA-bundle 认证的问题 #38775 @YuJuncen
    • 修复恢复时重复的临时表导致的 panic 问题 #40797 @joccau
    • 修复 PITR 不支持 PD 集群配置变更的问题 #14165 @YuJuncen
    • 修复 PD 与 TiDB server 的连接故障导致 PITR 备份进度不推进的问题 #41082 @YuJuncen
    • 修复 PD 与 TiKV 的连接故障导致 TiKV 不能监听 PITR 任务的问题 #14159 @YuJuncen
    • 修复当 TiDB 集群不存在 PITR 备份任务时，resolve lock 频率过高的问题 #40759 @joccau
    • 修复 PITR 备份任务被删除时，存在备份信息残留导致新任务出现数据不一致的问题 #40403 @joccau

  • TiCDC

    • 修复不能通过配置文件修改 transaction_atomicity 和 protocol 参数的问题 #7935 @CharlesCheung96
    • 修复 redo log 存储路径没做权限预检查的问题 #6335 @CharlesCheung96
    • 修复 redo log 容忍 S3 存储故障的时间过短的问题 #8089 @CharlesCheung96
    • 修复 changefeed 在 TiKV、TiCDC 节点扩缩容等特殊场景下卡住的问题 #8174 @hicqu
    • 修复 TiKV 节点之间流量过大的问题 #14092 @overvenus
    • 优化 pull-based sink 打开时 TiCDC 在 CPU 利用率、内存控制、吞吐等方面若干性能问题 #8142 #8157 #8001 #5928 @hicqu @hi-rustin

  • TiDB Data Migration (DM)

    • 修复 binlog-schema delete 命令执行失败的问题 #7373 @liumengya94
    • 修复当最后一个 binlog 是被 skip 的 DDL 时，checkpoint 不推进的问题 #8175 @D3Hunter
    • 修复当在某个表上同时指定 UPDATE 和非 UPDATE 类型的表达式过滤规则 expression-filter 时，所有 UPDATE 操作被跳过的问题 #7831 @lance6716
    • 修复当某个表上仅指定 update-old-value-expr 或 update-new-value-expr 时，过滤规则不生效或 DM 发生 panic 的问题 #7774 @lance6716

  • TiDB Lightning

    • 修复了部分场景下 TiDB 重启导致 TiDB Lightning 卡住的问题 #33714 @lichunzhu
    • 修复在并行导入时，当除最后一个 TiDB Lightning 实例外的其他实例都遇到本地重复记录时，TiDB Lightning 可能会错误地跳过冲突处理的问题 #40923 @lichunzhu
    • 修复 precheck 无法准确检测目标集群是否存在运行中的 TiCDC 的问题 #41040 @lance6716
    • 修复 TiDB Lightning 在 split-region 阶段发生 panic 的问题 #40934 @lance6716
    • 修复冲突处理逻辑 (duplicate-resolution) 可能导致 checksum 不一致的问题 #40657 @gozssky
    • 修复当数据文件中存在未闭合的 delimiter 时可能 OOM 的问题 #40400 @buchuitoudegou
    • 修复报错中的文件 offset 超过文件大小的问题 #40034 @buchuitoudegou
    • 修复新版 PD client 可能导致并行导入失败的问题 #40493 @AmoebaProtozoa
    • 修复 precheck 检查项有时无法监测到之前的导入失败遗留的脏数据的问题 #39477 @dsdashun

贡献者

感谢来自 TiDB 社区的贡献者们：

• morgo
• jiyfhust
• b41sh
• sourcelliu
• songzhibin97
• mamil
• Dousir9
• hihihuhu
• mychoxin
• xuning97
• andreid-db