本次发版 3.21.02.0 是 DBLE 今年的第一次发版。新版 DBLE 新增&重构功能 10 个,修复缺陷 10+ 个,向后兼容性调整 2 处。
致谢:
- 感谢以下人士对社区的贡献:@evangoe, @Neil-Zhou, @314926481, @ClippedWings-renzy
- 感谢 Github 用户提供的优质 issue,star 突破 780!
- 感谢 QQ 群(669663113)和微信群内朋友提供的有效反馈,群用户突破千人!
主要更新:
1、general 日志
开启 general 日志会将所有到达 dble 的 sql 语句以 file 方式记录;开启后性能损耗在 3%~5%,需要观察下发 sql 情况时建议开启该功能。
支持配置日志目录及文件名
支持指定日志文件大小 rotate
支持功能热开关
支持管理命令查看当前配置
2、load data 批处理模式
在使用 load data 导数据时,如果期间发生网络超时等异常状况就会导致 load data 产生回滚。
本版引入了“分批导入”的处理方式:将需要导入的文件按照阈值(见 bootstrap.cnf)拆分成多个文件进行分批导入,这样在 load data 途中发生异常状况时,已经成功已导入的文件不会被回滚,并会停止导入发生异常后的文件。
再次基于源文件的 load data,DBLE 则会跳过已成功导入的文件继续 load data。此外,在开启批处理模式后,如果待导入的文件按照既定 load data 语法规则(或不符合表结构等)存在错误,DBLE 会停止 load data 并会展示该文件错误的 sql 语句的内容,待错误修复后,再次 load data 仍会跳过已导入的数据,从而节约时间成本。可以按照表格、用户、前后端等维度统计 dble 中的事务、后端节点执行 sql 的(CRUD)次数、耗时、以及返回的行数(或影响行数);可能对性能方面有一定程度的影响,请根据实际业务需求是否开启此功能;
支持功能热开关
支持设置 / 重置统计阈值
支持管理命令查看当前配置