2.19.11.0 版本
DTLE Release Notes

以下对 DTLE 2.19.11.0 版本的 Release Notes  进行详细解读。

文章主要分为四部分内容:

一、DTLE 项目介绍
二、版本特征
三、Bug 修复
四、DTLE Release Notes

一、DTLE 项目介绍

11月28日,开源数据传输组件 DTLE 最新版本 2.19.11.0 发布。

DTLE 自开源起一直定位于一款针对 MySQL 使用特点、支持多种使用场景的数据传输组件,希望能够解决当前 MySQL 应用中保障数据传输质量、能够适配复杂场景、提供多样功能的问题。

跨数据中心的数据传输:

  • DTLE 能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

云间数据同步/迁移:

  • DTLE 能提供在公有云间架设数据同步通道,以支持数据容灾等需求
数据汇聚:
  • DTLE 能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

数据订阅:

  • DTLE 能将数据源的变更消息发往 Kafka 等消息中间件,以支持数据订阅通知/缓存失效通知等需求

跨数据中心的双向复制:

  • DTLE 能在数据中心间提供双向复制通道,以配合业务实现数据双写
DTLE 官方项目:
https://github.com/actiontech/dtle
如对源码有兴趣或者需要定制的功能的可以通过源码编译安装。
DTLE 官方文档:
https://actiontech.github.io/dtle-docs-cn/
DTLE 下载地址:
https://github.com/actiontech/dtle/releases

Tips:建议下载最新的 Releases 版本,下载 tar 压缩包即可,如有源码编译需求的,可以下载源码包

二、版本特征

  • 中继二进制日志(#475)

    dtle 会将二进制日志从源端 MySQL 下载到本地存储。以防源端 MySQL 上执行  PURGE BINARY LOGS  (清空二进制日志)。
  • 允许使用 binlog 文件和位置(即不使用 GTID)开始增量复制作业

  • 查看文档中 job.json 的新选项: BinlogRelay  BinlogFile  BinlogPos 

  • 初步支持 MySQL 8.0(#487)

文档地址:

https://actiontech.github.io/dtle-docs-cn/4/4.3_job_configuration.html

  • 更改日志系统
    – 支持动态更改日志级别
    – 日志格式更新
    – 支持日志文件轮替

三、Bug 修复

  • improve:job API can give the reason after the job dead.

  • 增加 BinlogEntrySize 方式错误,可能导致任务失败(#499)
  • 因”empty nats”导致的任务失败#433)
  • 当表的增量复制中没有主键时任务可能会失败(#488)
  • 当库表名包含特殊字符时任务可能会失败(#476)
  • 增量阶段任务卡住(1bee6d31)
  • 库表名映射任务可能失败(#481)

四、Release Notes

Features

  • Binlog Relay(#475)

  • dtle can download binlog from source mysql to local storage in case of PURGE BINARY LOGS on source mysql

  • Allow starting a incremental job with binlog file & position(without GTID)

  • Check the doc for new job.json options: BinlogRelayBinlogFileBinlogPos

Doc link:
https://actiontech.github.io/dtle-docs-cn/4/4.3_job_configuration.html
  • Preliminary support for MySQL 8.0(#487)

  • Change log system

    – support for dynamic updating of log levels

    – log format update

    – support log file rotation


Bugfixes

  • Binlog entry size was wrongly incremented (#499)
  • Job dead due to ’empty nats’ (#433)
  • Job dead in incremental copy of tables without a primary key (#488)
  • Job dead when schema.table contains special characters (#476)
  • Job stuck in incremental stage (1bee6d31)
  • Job with schema.table mapping might fail (#481)

社区近期动态

No.1

Mycat 问题免费诊断

诊断范围支持:

Mycat 的故障诊断、源码分析、性能优化

服务支持渠道:

技术交流群,进群后可提问

QQ群(669663113)

社区通道,邮件&电话

osc@actionsky.com

现场拜访,线下实地,1天免费拜访

关注“爱可生开源社区”公众号,回复关键字“Mycat”,获取活动详情。

No.2

社区技术内容征稿

征稿内容:

格式:.md/.doc/.txt

主题:MySQL、分布式中间件DBLE、数据传输组件DTLE相关技术内容

要求:原创且未发布过

奖励:作者署名;200元京东E卡+社区周边

投稿方式:

邮箱:osc@actionsky.com

格式:[投稿]姓名+文章标题

以附件形式发送,正文需注明姓名、手机号、微信号,以便小编及时联系