TiDB 4.0.16 Release Notes

发版日期：2021 年 12 月 17 日

TiDB 版本：4.0.16

兼容性更改

• TiKV

  • 在 v4.0.16 以前，当把一个非法的 UTF-8 字符串转换为 Real 类型时会直接报错。自 v4.0.16 起，TiDB 会依照该字符串中的合法 UTF-8 前缀进行转换 #11466

• Tools

  • TiCDC

    • 将 Kafka Sink max-message-bytes 的默认值改为 1 MB，防止 TiCDC 发送过大消息到 Kafka 集群 #2962
    • 将 Kafka Sink partition-num 的默认值改为 3，使 TiCDC 更加平均地分发消息到各个 Kafka partition #3337

提升改进

• TiDB

  • 升级 Grafana 到 v7.5.11，规避老版本的安全漏洞

• TiKV

  • 当使用 Backup & Restore 恢复数据或使用 TiDB Lightning 的 Local-backend 导入数据时，采用 zstd 算法压缩 SST 文件，从而减小磁盘使用空间 #11469

• Tools

  • Backup & Restore (BR)

    • 增强恢复的鲁棒性 #27421

  • TiCDC

    • 为 EtcdWorker 添加 tick 频率限制，防止 PD 的 etcd 写入次数过于频繁影响 PD 服务 #3112
    • 优化 TiKV 重新加载时的速率限制控制，缓解 changefeed 初始化时 gPRC 的拥堵问题 #3110

Bug 修复

• TiDB

  • 修复在统计信息模块的估算代价中，当执行 range 转 points 时由于数值溢出而导致的查询崩溃 #23625
  • 修复当 ENUM 类型作为 IF 或 CASE WHEN 等控制函数的参数时，返回结果不正确的问题 #23114
  • 修复由于 tidb_enable_vectorized_expression 设置的值不同（on 或 off）导致 GREATEST 函数返回结果不一致的问题 #29434
  • 修复 Index Join 在使用前缀索引时某些情况下崩溃的问题 #24547
  • 修复在某些情况下 Planner 可能缓存无效 join 计划的问题 #28087
  • 修复当 sql_mode 为空时，TiDB 无法插入 null 到非 null 列的问题 #11648
  • 修正 GREATEST 和 LEAST 函数的返回值类型错误 #29019
  • 修复 grant 和 revoke 操作在授予和撤销全局权限时，报 privilege check fail 错误的问题 #29675
  • 修复当 CASE WHEN 函数和 ENUM 类型一起使用时的崩溃问题 #29357
  • 修复 microsecond 函数的向量化表达式版本结果不正确的问题 #29244
  • 修复 hour 函数在向量化表达式中执行结果错误的问题 #28643
  • 修复乐观事务冲突可能导致事务相互阻塞的问题 #11148
  • 修复 auto analyze 输出的日志信息不完整的问题 #29188
  • 修复当 SQL_MODE 为 'NO_ZERO_IN_DATE' 时，使用非法的默认时间不报错的问题 #26766
  • 修复 Grafana 上 Coprocessor Cache 监控面板不显示数据的问题。现在 Grafana 会显示 hits/miss/evict 的数据 #26338
  • 修复并发 truncate 同一个分区会导致 DDL 语句执行卡住的问题 #26229
  • 修复将 Decimal 转为 String 时长度信息错误的问题 #29417
  • 修复使用 NATUAL JOIN 连接多张表时，查询结果中多出一列的问题 #29481
  • 修复 IndexScan 使用前缀索引时，TopN 被错误下推至 indexPlan 的问题 #29711
  • 修复在 DOUBLE 类型的自增列上重试事务会导致数据错误的问题 #29892

• TiKV

  • 修复在极端情况下同时进行 Region Merge、ConfChange 和 Snapshot 时，TiKV 会出现 Panic 的问题 #11475
  • 修复 Decimal 除法计算的结果为 0 时符号为负的问题 #29586
  • 修复 TiKV 监控项中实例级别 gRPC 的平均延迟时间不准确的问题 #11299
  • 修复在缺失下游数据库时出现 TiCDC Panic 的问题 #11123
  • 修复因 channel 打满而导致的 Raft 断连的问题 #11047
  • 修复由于无法在 Max/Min 函数中正确识别 Int64 是否为有符号整数，导致 Max/Min 函数的计算结果不正确的问题 #10158
  • 修复因 Congest 错误而导致的 CDC 频繁增加 scan 重试的问题 #11082

• PD

  • 修复 TiKV 节点缩容后可能导致 Panic 的问题 #4344
  • 修复因 Region syncer 卡住而导致 leader 选举慢的问题 #3936
  • 允许 Evict Leader 调度器调度拥有不健康副本的 Region #4093

• TiFlash

  • 修复 TiFlash 在部分平台上由于缺失 nsl 库而无法启动的问题

• Tools

  • TiDB Binlog

    • 修复传输事务超过 1 GB 时 Drainer 会退出的问题 #28659

  • TiCDC

    • 修复监控 checkpoint lag 出现负值的问题 #3010
    • 修复在容器环境中 OOM 的问题 #1798
    • 修复在多个 TiKV 崩溃或强制重启时可能遇到复制中断的问题 #3288
    • 修复执行 DDL 后的内存泄漏的问题 #3174
    • 修复当发生 ErrGCTTLExceeded 错误时，changefeed 不快速失败的问题 #3111
    • 修复当上游 TiDB 实例意外退出时，TiCDC 同步任务推进可能停滞的问题 #3061
    • 修复当 TiKV 向同一 Region 发送重复请求时，TiCDC 进程 Panic 的问题 #2386
    • 修复 TiCDC 产生的 Kafka 消息体积不受 max-message-size 约束的问题 #2962
    • 修复 tikv_cdc_min_resolved_ts_no_change_for_1m 监控在没有 changefeed 的情况下持续更新的问题 #11017
    • 修复当写入 Kafka 消息发生错误时，TiCDC 同步任务推进可能停滞的问题 #2978
    • 修复当开启 force-replicate 时，可能某些没有有效索引的分区表被忽略的问题 #2834
    • 修复在创建新的 changefeed 时可能发生的内存泄漏问题 #2389
    • 修复可能因为 Sink 组件提前推进 resolved ts 导致数据不一致的问题 #3503
    • 修复当扫描存量数据耗时过长时，可能由于 TiKV 进行 GC 而导致存量数据扫描失败的问题 #2470
    • 修复 changefeed 更新命令无法识别全局命令行参数的问题 #2803