关于作者


钟悦 – 资深DBLE用户

某宇宙行资深架构师,在大型重点项目中使用 DBLE。

常年与 MySQL 纠缠不清,经常运用技术处理大企业病的技术or非技术问题的一个挨踢从业者。

根据用户定义的范围与分片节点映射文件,直接定位目标分片。

1. 用户在 rule.xml 中配置范围定义文件路径,文件中定义的各个范围被加载到内存中,形成一个映射表

2. 在 DBLE 的运行过程中,用户访问使用这个算法的表时,WHERE 子句中的分片索引值会被提取出来,直接查映射表得到分片编号


与MyCat的类似分片算法对比

中间件 DBLE MyCat
分片算法种类 numberrange 分区算法 范围约定
区别 写具体的数值 可用K或M等数量替换付
  • K=1000 , M=10000


开发注意点

【分片索引】1. 整型数字(可以为负数),取值范围是长整型

【分片索引】2. 范围包含其起点和终点,例如,范围 1-100 包含 1 和 100(即 [1, 100])

【分片索引】3. 如果范围与范围之间存在重叠(例如 1-100 和 100-200 重叠于 100),不会引起异常,会命中在范围配置文件mapFile中最先出现的那一个并按其执行

【分片索引】4. 不同范围可以映射到同一个分片上

0 - 99 = 0
100 - 199 = 0

【数据分布】1. 无法保证均匀

【数据分布】2. 总分数量等于范围配置文件 mapFile 中各范围持有的分片数量之和


运维注意点

【扩容】1. 原有范围(含默认节点)的数据太热,需要拆分成多个新的更小的范围来扩展到不同MySQL节点时,需要对局部数据进行迁移

【缩容】1. 原有的几个范围的数据太冷,需要合并到同一个 MySQL 节点来节省资源时,需要对局部数据进行迁移


配置注意点

【配置项】1. 在 rule.xml 中,可配置项为<property name=”defaultNode”><property name=”mapFile”>

【配置项】2.在 rule.xml 中配置<property name=”defaultNode”>标签,非必须配置项,不配置该项的话,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会报错;若需要配置,必须为非负整数,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会路由至这个值的 MySQL 分片

【配置项】3. 在 rule.xml 中配置<property name=”mapFile”>标签,范围映射文件的路径:若在映射文件在 DBLE_HOME/conf 或其中,则可以使用相对路径的形式配置,例如,映射文件是 DBLE_HOME/conf/map/table_map.txt 时,配置值就可以简写为 map/table_map.txt;映射文件在 DBLE_HOME/conf 目录以外时,需要使用绝对路径,但这种做法需要考虑用户权限等问题,因此不建议把映射文件放在 DBLE_HOME/conf 外。

【配置项】4. 编辑 mapFile 所配置的文件

记录格式为:<范围最小值> – <范围最大值> = <分片编号>

范围最小值和范围最大值必须是整型数字,取值范围为 Java 的长整型范围内,分片编号必须是非负整型数字,记录之间以换行分隔,一行仅能有一条记录,允许以 “//” 和 “#” 在行首来注释该行

【配置项】5. 读取 mapFile 时,DBLE 不会对其中的范围记录查重或排序,也不会检查范围最小值和范围最大值相互之间谁更大

【配置项】6. mapFile 中的记录的先后顺序非常重要,目前的最佳实践是人手确保范围与范围之间没有重叠,而且按照数据查询频率,从高频到低频来顺序填写 mapFile

社区近期动态

第三期 社区技术内容征稿👈

所有稿件,一经采用,均会为作者署名。

征稿主题:MySQL、分布式中间件DBLE、数据传输组件DTLE相关的技术内容

活动时间:2019年6月11日 – 7月11日


本期投稿奖励


投稿成功:京东卡200元*1

优秀稿件:京东卡200元*1+社区定制周边(包含:定制文化衫、定制伞、鼠标垫)

优秀稿件评选,文章获得“好看数量排名前三的稿件为本期优秀稿件。