SYSTEM
重新分片
src/content/notes/system/重新分片.md 重新分片
实现原理
Redis 集群的重新分片操作可以将任意数量已经指派给某个节点(源节点)的槽改为指派给另一个节点(目标节点),并且相关槽的键值对也会从源节点被移动到目标节点,该操作是可以在线(online)进行,在重新分片的过程中源节点和目标节点都可以处理命令请求
Redis 的集群管理软件 redis-trib 负责执行重新分片操作,redis-trib 通过向源节点和目标节点发送命令来进行重新分片操作
- 向目标节点发送
CLUSTER SETSLOT <slot> IMPORTING <source_id>命令,准备好从源节点导入属于槽 slot 的键值对 - 向源节点发送
CLUSTER SETSLOT <slot> MIGRATING <target_id>命令,让源节点准备好将属于槽 slot 的键值对迁移 - redis-trib 向源节点发送
CLUSTER GETKEYSINSLOT <slot> <count>命令,获得最多 count 个属于槽 slot 的键值对的键名 - 对于每个 key,redis-trib 都向源节点发送一个
MIGRATE <target_ip> <target_port> <key_name> 0 <timeout>命令,将被选中的键原子地从源节点迁移至目标节点 - 重复上述步骤,直到源节点保存的所有槽 slot 的键值对都被迁移至目标节点为止
- redis-trib 向集群中的任意一个节点发送
CLUSTER SETSLOT <slot> NODE <target _id>命令,将槽 slot 指派给目标节点,这一指派信息会通过消息传播至整个集群,最终集群中的所有节点都直到槽 slot 已经指派给了目标节点

如果重新分片涉及多个槽,那么 redis-trib 将对每个给定的槽分别执行上面给出的步骤
命令原理
clusterState 结构的 importing_slots_from 数组记录了当前节点正在从其他节点导入的槽,migrating_slots_to 数组记录了当前节点正在迁移至其他节点的槽:
typedef struct clusterState {
// 如果 importing_slots_from[i] 的值不为 NULL,而是指向一个 clusterNode 结构,
// 那么表示当前节点正在从 clusterNode 所代表的节点导入槽 i
clusterNode *importing_slots_from[16384];
// 表示当前节点正在将槽 i 迁移至 clusterNode 所代表的节点
clusterNode *migrating_slots_to[16384];
}
CLUSTER SETSLOT <slot> IMPORTING <source_id> 命令:将目标节点 clusterState.importing_slots_from[slot] 的值设置为 source_id 所代表节点的 clusterNode 结构
CLUSTER SETSLOT <slot> MIGRATING <target_id> 命令:将源节点 clusterState.migrating_slots_to[slot] 的值设置为target_id 所代表节点的 clusterNode 结构
ASK 错误
重新分片期间,源节点向目标节点迁移一个槽的过程中,可能出现被迁移槽的一部分键值对保存在源节点,另一部分保存在目标节点
客户端向源节点发送命令请求,并且命令要处理的数据库键属于被迁移的槽:
-
源节点会先在数据库里面查找指定键,如果找到的话,就直接执行客户端发送的命令
-
未找到会检查 clusterState.migrating_slots_to[slot],看键 key 所属的槽 slot 是否正在进行迁移
-
槽 slot 正在迁移则源节点将向客户端返回一个 ASK 错误,指引客户端转向正在导入槽的目标节点
ASK <slot> <ip:port> -
接到 ASK 错误的客户端,会根据错误提供的 IP 地址和端口号转向目标节点,首先向目标节点发送一个 ASKING 命令,再重新发送原本想要执行的命令
和 MOVED 错误情况类似,集群模式的 redis-cli 在接到 ASK 错误时不会打印错误进行自动转向;单机模式的 redis-cli 会打印错误
对比 MOVED 错误:
-
MOVED 错误代表槽的负责权已经从一个节点转移到了另一个节点,转向是一种持久性的转向
-
ASK 错误只是两个节点在迁移槽的过程中使用的一种临时措施,ASK 的转向不会对客户端今后发送关于槽 slot 的命令请求产生任何影响,客户端仍然会将槽 slot 的命令请求发送至目前负责处理槽 slot 的节点,除非 ASK 错误再次出现
ASKING
客户端不发送 ASKING 命令,而是直接发送执行的命令,那么客户端发送的命令将被节点拒绝执行,并返回 MOVED 错误
ASKING 命令作用是打开发送该命令的客户端的 REDIS_ASKING 标识,该命令的伪代码实现:
def ASKING ():
// 打开标识
client.flags |= REDIS_ASKING
// 向客户端返回OK回复
reply("OK")
当前节点正在导入槽 slot,并且发送命令的客户端带有 REDIS_ASKING 标识,那么节点将破例执行这个关于槽 slot 的命令一次
客户端的 REDIS_ASKING 标识是一次性标识,当节点执行了一个带有 REDIS_ASKING 标识的客户端发送的命令之后,该客户端的 REDIS_ASKING 标识就会被移除