TiDB 3.0 Beta Release Notes

2019 年 1 月 19 日，TiDB 发布 3.0 Beta 版，TiDB Ansible 相应发布 3.0 Beta 版本。相比 2.1 版本，该版本对系统稳定性、优化器、统计信息以及执行引擎做了很多改进。

TiDB

• 新特性
  • 支持 View
  • 支持窗口函数
  • 支持 Range 分区
  • 支持 Hash 分区
• SQL 优化器
  • 重新支持聚合消除的优化规则 #7676
  • 优化 NOT EXISTS 子查询，将其转化为 Anti Semi Join #7842
  • 添加 tidb_enable_cascades_planner 变量以支持新的 Cascades 优化器。目前 Cascades 优化器尚未实现完全，默认关闭 #7879
  • 支持在事务中使用 Index Join #7877
  • 优化 Outer Join 上的常量传播，使得对 Join 结果里和 Outer 表相关的过滤条件能够下推过 Outer Join 到 Outer 表上，减少 Outer Join 的无用计算量，提升执行性能 #7794
  • 调整投影消除的优化规则到聚合消除之后，消除掉冗余的 Project 算子 #7909
  • 优化 IFNULL 函数，当输入参数具有非 NULL 的属性的时候，消除该函数 #7924
  • 支持对 _tidb_rowid 构造查询的 Range，避免全表扫，减轻集群压力 #8047
  • 优化 IN 子查询为先聚合后做 Inner Join 并，添加变量 tidb_opt_insubq_to_join_and_agg 以控制是否开启该优化规则并默认打开 #7531
  • 支持在 DO 语句中使用子查询 #8343
  • 添加 Outer Join 消除的优化规则，减少不必要的扫表和 Join 操作，提升执行性能 #8021
  • 修改 TIDB_INLJ 优化器 Hint 的行为，优化器将使用 Hint 中指定的表当做 Index Join 的 Inner 表 #8243
  • 更大范围的启用 PointGet，使得当 Prepare 语句的执行计划缓存生效时也能利用上它 #8108
  • 引入贪心的 Join Reorder 算法，优化多表 Join 时 Join 顺序选择的问题 #8394
  • 支持 View #8757
  • 支持 Window Function #8630
  • 当 TIDB_INLJ 未生效时，返回 warning 给客户端，增强易用性 #9037
  • 支持根据过滤条件和表的统计信息推导过滤后数据的统计信息的功能 #7921
  • 增强 Range Partition 的 Partition Pruning 优化规则 #8885
• SQL 执行引擎
  • 优化 Merge Join 算子，使其支持空的 ON 条件 #9037
  • 优化日志，打印执行 EXECUTE 语句时使用的用户变量 #7684
  • 优化日志，为 COMMIT 语句打印慢查询信息 #7951
  • 支持 EXPLAIN ANALYZE 功能，使得 SQL 调优过程更加简单 #7827
  • 优化列很多的宽表的写入性能 #7935
  • 支持 admin show next_row_id #8242
  • 添加变量 tidb_init_chunk_size 以控制执行引擎使用的初始 Chunk 大小 #8480
  • 完善 shard_row_id_bits，对自增 ID 做越界检查 #8936
• Prepare 语句
  • 对包含子查询的 Prepare 语句，禁止其添加到 Prepare 语句的执行计划缓存中，确保输入不同的用户变量时执行计划的正确性 #8064
  • 优化 Prepare 语句的执行计划缓存，使得当语句中包含非确定性函数的时候，该语句的执行计划也能被缓存 #8105
  • 优化 Prepare 语句的执行计划缓存，使得 DELETE/UPDATE/INSERT 的执行计划也能被缓存 #8107
  • 优化 Prepare 语句的执行计划缓存，当执行 DEALLOCATE 语句时从缓存中剔除对应的执行计划 #8332
  • 优化 Prepare 语句的执行计划缓存，通过控制其内存使用以避免缓存过多执行计划导致 TiDB OOM 的问题 #8339
  • 优化 Prepare 语句，使得 ORDER BY/GROUP BY/LIMIT 子句中可以使用 “?” 占位符 #8206
• 权限管理
  • 增加对 ANALYZE 语句的权限检查 #8486
  • 增加对 USE 语句的权限检查 #8414
  • 增加对 SET GLOBAL 语句的权限检查 #8837
  • 增加对 SHOW PROCESSLIST 语句的权限检查 #7858
• Server
  • 支持了对 SQL 语句的 Trace 功能 #9029
  • 支持了插件框架 #8788
  • 支持同时使用 unix_socket 和 TCP 两种方式连接数据库 #8836
  • 支持了系统变量 interactive_timeout #8573
  • 支持了系统变量 wait_timeout #8346
  • 提供了变量 tidb_batch_commit，可以按语句数将事务分解为多个事务 #8293
  • 支持 ADMIN SHOW SLOW 语句，方便查看慢日志 #7785
• 兼容性
  • 支持了 ALLOW_INVALID_DATES 这种 SQL mode #9027
  • 提升了 load data 对 CSV 文件的容错能力 #9005
  • 支持了 MySQL 320 握手协议 #8812
  • 支持将 unsigned bigint 列声明为自增列 #8181
  • 支持 SHOW CREATE DATABASE IF NOT EXISTS 语法 #8926
  • 当过滤条件中包含用户变量时不对其进行谓词下推的操作，更加兼容 MySQL 中使用用户变量模拟 Window Function 的行为 #8412
• DDL
  • 支持快速恢复误删除的表 #7937
  • 支持动态调整 ADD INDEX 的并发数 #8295
  • 支持更改表或者列的字符集到 utf8/utf8mb4 #8037
  • 默认字符集从 utf8 变为 utf8mb4 #7965
  • 支持 RANGE PARTITION #8011

Tools

• TiDB Lightning
  • 大幅优化 SQL 转 KV 的处理速度 #110
  • 对单表支持 batch 导入，提高导入性能和稳定性 #113

PD

• 增加 RegionStorage 单独存储 Region 元信息 #1237
• 增加 shuffle hot region 调度 #1361
• 增加调度参数相关 Metrics #1406
• 增加集群 Label 信息相关 Metrics #1402
• 增加导入数据场景模拟 #1263
• 修复 Leader 选举相关的 Watch 问题 #1396

TiKV

• 支持了分布式 GC #3179
• 在 Apply snapshot 之前检查 RocksDB level 0 文件，避免产生 Write stall #3606
• 支持了逆向 raw_scan 和 raw_batch_scan #3742
• 更好的夏令时支持 #3786
• 支持了使用 HTTP 方式获取监控信息 #3855
• 支持批量方式接收和发送 Raft 消息 #3931
• 引入了新的存储引擎 Titan #3985
• 升级 gRPC 到 v1.17.2 #4023
• 支持批量方式接收客户端请求和发送回复 #4043
• 多线程 Apply #4044
• 多线程 Raftstore #4066