1. 用户在 rule.xml 中配置范围定义文件路径,文件中定义的各个范围被加载到内存中,形成一个映射表
2. 在 DBLE 的运行过程中,用户访问使用这个算法的表时,WHERE 子句中的分片索引值会被提取出来,直接查映射表得到分片编号
与MyCat的类似分片算法对比
中间件 |
DBLE |
MyCat |
分片算法种类 |
numberrange 分区算法 |
范围约定 |
区别 |
写具体的数值 |
可用K或M等数量替换付 |
开发注意点
【分片索引】1. 整型数字(可以为负数),取值范围是长整型
【分片索引】2. 范围包含其起点和终点,例如,范围 1-100 包含 1 和 100(即 [1, 100])
【分片索引】3. 如果范围与范围之间存在重叠(例如 1-100 和 100-200 重叠于 100),不会引起异常,会命中在范围配置文件mapFile中最先出现的那一个并按其执行
【分片索引】4. 不同范围可以映射到同一个分片上
0 - 99 = 0
100 - 199 = 0
【数据分布】1. 无法保证均匀
【数据分布】2. 总分数量等于范围配置文件 mapFile 中各范围持有的分片数量之和
运维注意点
【扩容】1. 原有范围(含默认节点)的数据太热,需要拆分成多个新的更小的范围来扩展到不同MySQL节点时,需要对局部数据进行迁移
【缩容】1. 原有的几个范围的数据太冷,需要合并到同一个 MySQL 节点来节省资源时,需要对局部数据进行迁移
配置注意点
【配置项】1. 在 rule.xml 中,可配置项为<property name=”defaultNode”>和<property name=”mapFile”>
【配置项】2.在 rule.xml 中配置<property name=”defaultNode”>标签,非必须配置项,不配置该项的话,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会报错;若需要配置,必须为非负整数,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会路由至这个值的 MySQL 分片
【配置项】3. 在 rule.xml 中配置<property name=”mapFile”>标签,范围映射文件的路径:若在映射文件在 DBLE_HOME/conf 或其中,则可以使用相对路径的形式配置,例如,映射文件是 DBLE_HOME/conf/map/table_map.txt 时,配置值就可以简写为 map/table_map.txt;映射文件在 DBLE_HOME/conf 目录以外时,需要使用绝对路径,但这种做法需要考虑用户权限等问题,因此不建议把映射文件放在 DBLE_HOME/conf 外。
【配置项】4. 编辑 mapFile 所配置的文件
记录格式为:<范围最小值> – <范围最大值> = <分片编号>
范围最小值和范围最大值必须是整型数字,取值范围为 Java 的长整型范围内,分片编号必须是非负整型数字,记录之间以换行分隔,一行仅能有一条记录,允许以 “//” 和 “#” 在行首来注释该行
【配置项】5. 读取 mapFile 时,DBLE 不会对其中的范围记录查重或排序,也不会检查范围最小值和范围最大值相互之间谁更大
【配置项】6. mapFile 中的记录的先后顺序非常重要,目前的最佳实践是人手确保范围与范围之间没有重叠,而且按照数据查询频率,从高频到低频来顺序填写 mapFile