TiDB 3.0 GA Release Notes

Overview

2019 年 6 月 28 日，TiDB 发布 3.0 GA 版本，对应的 TiDB Ansible 版本为 3.0.0。相比于 V2.1，V3.0.0 版本在以下方面有重要改进：

稳定性方面，显著提升了大规模集群的稳定性，集群支持 150+ 存储节点，300+ TB 存储容量长期稳定运行。
易用性方面有显著的提升，降低用户运维成本，例如：标准化慢查询日志，制定日志文件输出规范，新增 EXPLAIN ANALYZE，SQL Trace 功能方便排查问题等。
性能方面，与 2.1 相比，TPC-C 性能提升约 4.5 倍，Sysbench 性能提升 50%+。因支持 View，TPC-H 50G Q15 可正常运行。
新功能方面增加了窗口函数、视图（实验特性）、分区表、插件系统、悲观锁（实验特性）、SQL Plan Management 等特性。

TiDB

新功能
- 新增 Window Function，支持所有 MySQL 8.0 中的窗口函数，包括 NTILE，LEAD，LAG、PERCENT_RANK、NTH_VALUE、CUME_DIST、FIRST_VALUE、LAST_VALUE、RANK、DENSE_RANK、ROW_NUMBER 函数
- 新增 View 功能（实验特性）
- 完善 Table Partition 功能：
  - Range Partition
  - Hash Partition
- 新增插件系统，官方提供 IP 白名单（企业版特性），审记日志（企业版特性）等插件
- 新增 SQL Plan Management 功能，通过绑定 SQL 执行计划确保查询的稳定性（实验特性）
SQL 优化器
- 优化NOT EXISTS 子查询，转化为 Anti Semi Join 提升性能
- 优化 Outer Join 常量传播，新增 Outer Join 消除优化规则，避免无效计算，提升性能
- 优化 IN 子查询，先聚合后执行 Inner Join，提升性能
- 优化 Index Join，适应更多的场景，提升性能
- 优化 Range Partition 的 Partition Pruning 优化规则，提升性能
- 优化 _tidb_rowid 查询逻辑，避免全表扫描，提升性能
- 当过滤条件中包含相关列时，在抽取复合索引的访问条件时尽可能多地匹配索引的前缀列，提升性能
- 利用列之间的顺序相关性，提升代价估算准确度
- 基于统计信息的贪心算法及动态规划算法改进了 Join Order，提升多表关联的执行速度
- 新增 Skyline Pruning，利用规则防止执行计划过于依赖统计信息，提升查询的稳定性
- 提升单列索引上值为 NULL 时行数估算准确度
- 新增 FAST ANALYZE，通过在各个 Region 中随机采样避免全表扫描的方式提升统计信息收集性能
- 新增单调递增的索引列增量 Analyze 功能，提升统计信息收集性能
- 支持 DO 语句中使用子查询
- 支持在事务中使用 Index Join
- 优化 prepare/execute，支持不带参数的 DDL 语句
- 修改变量 stats-lease 值为 0 时系统的行为，使其自动加载统计
- 新增导出历史统计信息功能
- 新增导入导出列的关联性信息功能
SQL 执行引擎
- 优化日志输出，EXECUTE 语句输出用户变量，COMMIT 语句输出慢查询日志，方便排查问题
- 新增 EXPLAIN ANALYZE 功能，提升 SQL 调优易用性
- 新增 admin show next_row_id 功能，方便获取下一行 ID
- 新增JSON_QUOTE、JSON_ARRAY_APPEND、JSON_MERGE_PRESERVE、BENCHMARK、COALESCE、NAME_CONST 6 个内建函数
- 优化 Chunk 大小控制逻辑，根据查询上下文件动态调整，降低 SQL 执行时间和资源消耗，提升性能
- 新增 TableReader、IndexReader 和 IndexLookupReader 算子内存追踪控制
- 优化 Merge Join 算子，使其支持空的 ON 条件
- 优化单个表列较多时写入性能，提升数倍性能
- 通过支持逆序扫数据提升 admin show ddl jobs 的性能
- 新增 split table region 语句，手动分裂表的 Region，缓解热点问题
- 新增 split index region 语句，手动分裂索引的 Region 缓解热点问题
- 新增黑名单禁止下推表达式到 Coprocessor 功能
- 优化 Expensive Query 日志，在日志中打印执行时间或者使用内存超过阈值的 SQL 查询
DDL
- 支持字符集从 utf8 转换到 utf8mb4 的功能
- 修改默认字符集从 utf8 变为 utf8mb4
- 新增 alter schema 语句修改数据库 charset 和 collation 功能
- 新增 ALTER ALGORITHM INPLACE/INSTANT 功能
- 新增 SHOW CREATE VIEW 功能
- 新增 SHOW CREATE USER 功能
- 新增快速恢复误删除的表功能
- 新增动态调整 ADD INDEX 的并发数功能
- 新增 pre_split_regions 选项，在 CREATE TABLE 时预先分配 Region，缓解建表后大量写入造成的写热点问题
- 新增通过 SQL 语句指定表的索引及范围分裂 Region，缓解热点问题
- 新增 ddl_error_count_limit 全局变量，控制 DDL 任务重次数
- 新增列属性包含 AUTO_INCREMENT 时利用 SHARD_ROW_ID_BITS 打散行 ID 功能，缓解热点问题
- 优化无效 DDL 元信息存活时间，使集群升级后一段时间 DDL 操作比较慢的情况变短
事务
- 新增悲观事务模型（实验特性）
- 优化事务处理逻辑，适应更多场景，具体如下：
  - tidb_disable_txn_auto_retry 的默认值为 on，即不会重试非自动提交的事务
  - 新增 tidb_batch_commit 系统变量控制将事务拆分成多个事务并发执行
  - 新增 tidb_low_resolution_tso 系统变量控制批量获取 tso 个数，减少事务获取 tso 的次数以适应某些数据一致性要求较低的场景
  - 新增 tidb_skip_isolation_level_check 变量控制事务检查隔离级别设置为 SERIALIZABLE 时是否报错
  - 修改 tidb_disable_txn_auto_retry 系统变量的行为，修改为影响所有的可重试错误
权限管理 - 对 ANALYZE、USE、SET GLOBAL、SHOW PROCESSLIST 语句进行权限检查 - 新增基于角色的权限访问控制功能 (RBAC)（实验特性）
Server
- 优化慢查询日志，具体包括：
  - 重构慢查询日志格式
  - 优化慢查询日志内容
  - 优化查询慢查询日志的方法，通过内存表 INFORMATION_SCHEMA.SLOW_QUERY，ADMIN SHOW SLOW 语句查询慢查询日志
- 制定日志格式规范，重构日志系统，方便工具收集分析
- 新增 SQL 语句管理 TiDB Binlog 服务功能，包括查询状态，开启 TiDB Binlog，维护发送 TiDB Binlog 策略
- 新增通过 unix_socket 方式连接数据库
- 新增 SQL 语句 Trace 功能
- 新增 /debug/zip HTTP 接口，获取 TiDB 实例的信息，方便排查问题
- 优化监控项，方便排查问题，如下：
  - 新增 high_error_rate_feedback_total 监控项，监控真实数据量与统计信息估算数据量之间的差距
  - 新增 Database 维度的 QPS 监控项
- 优化系统初始化流程，仅允许 DDL Owner 执行初始化操作，缩短初始化或升级过程中的启动时间
- 优化 kill query 语句执行逻辑，提升性能，确保资源正确释放
- 新增启动选项 config-check 检查配置文件合法性
- 新增 tidb_back_off_weight 系统变量，控制内部出错重试的退避时间
- 新增 wait_timeout、interactive_timeout 系统变量，控制连接空闲超过变量的值，系统自动断开连接。
- 新增连接 TiKV 的连接池，减少连接创建时间
兼容性
- 支持 ALLOW_INVALID_DATES SQL mode
- 支持 MySQL 320 握手协议
- 支持将 unsigned bigint 列声明为自增列
- 支持 SHOW CREATE DATABASE IF NOT EXISTS 语法
- 优化 load data 对 CSV 文件的容错
- 过滤条件中包含用户变量时谓词不下推，兼容 MySQL Window Function 中使用用户变量行为

PD

新增从单个节点重建集群的功能
将 Region 元信息从 etcd 移到 go-leveldb 存储引擎，解决大规模集群 etcd 存储瓶颈问题

API
- 新增 remove-tombstone 接口，用于清理 Tombstone Store
- 新增 ScanRegions 接口，用于批量查询 Region 信息
- 新增 GetOperator 接口，用于查询运行中的 Operator
- 优化 GetStores 接口的性能
配置
- 优化配置检查逻辑，防止配置项错误
- 新增 enable-two-way-merge，用于控制 Region merge 的方向
- 新增 hot-region-schedule-limit，用于控制热点 Region 调度速度
- 新增 hot-region-cache-hits-threshold，连续命中阀值用于判断热点
- 新增 store-balance-rate 配置，用于控制每分钟产生 balance Region Operator 数量的上限
调度器优化
- 添加 Store Limit 机制限制调度速度，使得速度限制适用于不同规模的集群
- 添加 waitingOperator 队列，用于优化不同调度器之间资源竞争的问题
- 支持调度限速功能，主动向 TiKV 下发调度操作，限制单节点同时执行调度任务的个数，提升调度速度
- Region Scatter 调度不再受 limit 机制限制，提升调度的速度
- 新增 shuffle-hot-region 调度器，解决稳定性测试易用性问题
模拟器
- 新增数据导入场景模拟
- 新增为 Store 设置不同的心跳间隔的功能
其他
- 升级 etcd，解决输出日志格式不一致，prevote 时选举不出 Leader，Lease 死锁等问题
- 制定日志格式规范，重构日志系统，方便工具收集分析
- 新增调度参数，集群 Label 信息，PD 处理 TSO 请求的耗时，Store ID 与地址信息等监控指标

TiKV

新增分布式 GC 以及并行 Resolve Lock 功能，提升 GC 的性能
新增逆向 raw_scan 和 raw_batch_scan 功能
新增多线程 Raftstore 和 Apply 功能，提升单节点内可扩展性，提升单节点内并发处理能力，提升单节点的资源利用率，降低延时，同等压力情况下性能提升 70%
新增批量接收和发送 Raft 消息功能，写入密集的场景 TPS 提升 7%
新增 Apply snapshot 之前检查 RocksDB level 0 文件的优化，避免产生 Write stall
新增 Titan 存储引擎插件，提升 Value 超过 1KiB 时系统的性能，一定程度上缓解写放大问题（实验特性）
新增悲观事务模型（实验特性）
新增通过 HTTP 方式获取监控信息功能
修改 Insert 语义，仅在 Key 不存在的时候 Prewrite 才成功
制定日志格式规范，重构日志系统，方便工具收集分析
新增配置信息，Key 越界相关的性能监控指标
RawKV 使用 Local Reader，提升性能

Engine
- 优化内存管理，减少 Iterator Key Bound Option 的内存分配和拷贝，提升性能
- 支持多个 column family 共享 block cache，提升资源的利用率
Server
- 优化 batch commands 的上下文切换开销，提升性能
- 删除 txn scheduler
- 新增 read index，GC worker 相关监控项
RaftStore
- 新增 hibernate Regions 功能，优化 RaftStore CPU 的消耗（实验特性）
- 删除 local reader 线程
Coprocessor
- 重构计算框架，实现向量化算子、向量化表达式计算、向量化聚合，提升性能
- 支持为 TiDB EXPLAIN ANALYZE 语句提供算子执行详情
- 改用 work-stealing 线程池模型，减少上下文切换

Tools

TiDB Lightning
- 支持数据表重定向同步功能
- 新增导入 CSV 文件功能
- 提升 SQL 转 KV 对的性能
- 单表支持批量导入功能，提升单表导入的性能
- 支持将大表的数据和索引分别导入，提升 TiKV-Importer 导入数据性能
- 支持对新增文件中缺少 Column 数据时使用 row id 或者列的默认值填充缺少的 column 数据
- TiKV-Importer 支持对 upload SST 到 TiKV 限速功能
TiDB Binlog
- Drainer 新增 advertise-addr 配置，支持容器环境中使用桥接模式
- Pump 使用 TiKV GetMvccByKey 接口加快事务状态查询
- 新增组件之间通讯数据压缩功能，减少网络资源消耗
- 新增 Arbiter 工具支持从 Kafka 读取 binlog 并同步到 MySQL 功能
- Reparo 支持过滤不需要被同步的文件的功能
- 新增同步 Generated column 功能
- 新增 syncer.sql-mode 配置项，支持采用不同的 SQL mode 解析 DDL
- 新增 syncer.ignore-table 配置项，过滤不需要被同步的表
sync-diff-inspector
- 新增 checkpoint 功能，支持从断点继续校验的功能
- 新增 only-use-checksum 配置项，控制仅通过计算 checksum 校验数据的一致性
- 新增采用 TiDB 统计信息以及使用多个 Column 划分 Chunk 的功能，适应更多的场景

TiDB Ansible

升级监控组件版本到安全的版本
- Prometheus 从 2.2.1 升级到 2.8.1 版本
- Pushgateway 从 0.4.0 升级到 0.7.0 版本
- Node_exporter 从 0.15.2 升级到 0.17.0 版本
- Alertmanager 从 0.14.0 升级到 0.17.0 版本
- Grafana 从 4.6.3 升级到 6.1.6 版本
- Ansible 从 2.5.14 升级到 2.7.11 版本
新增 TiKV summary 监控面板，方便查看集群状态
新增 TiKV trouble_shooting 监控面板，删除重复项，方便排查问题
新增 TiKV details 监控面板，方便调试排查问题
新增滚动升级并发检测版本是否一致功能，提升滚动升级性能
新增 lightning 部署运维功能
优化 table-regions.py 脚本，新增按表显示 leader 分布功能
优化 TiDB 监控，新增以 SQL 类别显示延迟的监控项
修改操作系统版本限制，仅支持 CentOS 7.0 及以上，Red Hat 7.0 及以上版本的操作系统
新增预测集群最大 QPS 的监控项，默认隐藏

官网链接：https://www.pingcap.com/index.html