SYSTEM
消息机制
src/content/notes/system/消息机制.md 消息机制
消息结构
集群中的各个节点通过发送和接收消息(message)来进行通信,将发送消息的节点称为发送者(sender),接收消息的节点称为接收者(receiver)
节点发送的消息主要有:
-
MEET 消息:当发送者接到客户端发送的 CLUSTER MEET 命令时,会向接收者发送 MEET 消息,请求接收者加入到发送者当前所处的集群里
-
PING 消息:集群里的每个节点默认每隔一秒钟就会从已知节点列表中随机选出五个,然后对这五个节点中最长时间没有发送过 PING 消息的节点发送 PING,以此来随机检测被选中的节点是否在线
如果节点 A 最后一次收到节点 B 发送的 PONG 消息的时间,距离当前已经超过了节点 A 的 cluster-node-timeout 设置时长的一半,那么 A 也会向 B 发送 PING 消息,防止 A 因为长时间没有随机选中 B 发送 PING,而导致对节点 B 的信息更新滞后
-
PONG 消息:当接收者收到 MEET 消息或者 PING 消息时,为了让发送者确认已经成功接收消息,会向发送者返回一条 PONG;节点也可以通过向集群广播 PONG 消息来让集群中的其他节点立即刷新关于这个节点的认识(从升级为主)
-
FAIL 消息:当一个主节点 A 判断另一个主节点 B 已经进入 FAIL 状态时,节点 A 会向集群广播一条 B 节点的 FAIL 信息
-
PUBLISH 消息:当节点接收到一个 PUBLISH 命令时,节点会执行这个命令并向集群广播一条 PUBLISH 消息,接收到 PUBLISH 消息的节点都会执行相同的 PUBLISH 命令
消息头
节点发送的所有消息都由一个消息头包裹,消息头除了包含消息正文之外,还记录了消息发送者自身的一些信息
消息头:
typedef struct clusterMsg {
// 消息的长度(包括这个消息头的长度和消息正文的长度)
uint32_t totlen;
// 消息的类型
uint16_t type;
// 消息正文包含的节点信息数量,只在发送MEET、PING、PONG这三种Gossip协议消息时使用
uint16_t count;
// 发送者所处的配置纪元
uint64_t currentEpoch;
// 如果发送者是一个主节点,那么这里记录的是发送者的配置纪元
// 如果发送者是一个从节点,那么这里记录的是发送者正在复制的主节点的配置纪元
uint64_t configEpoch;
// 发送者的名字(ID)
char sender[REDIS CLUSTER NAMELEN];
// 发送者目前的槽指派信息
unsigned char myslots[REDIS_CLUSTER_SLOTS/8];
// 如果发送者是一个从节点,那么这里记录的是发送者正在复制的主节点的名字
// 如果发送者是一个主节点,那么这里记录的是 REDIS_NODE_NULL_NAME,一个 40 宇节长值全为 0 的字节数组
char slaveof[REDIS_CLUSTER_NAMELEN];
// 发送者的端口号
uint16_t port;
// 发送者的标识值
uint16_t flags;
//发送者所处集群的状态
unsigned char state;
// 消息的正文(或者说, 内容)
union clusterMsgData data;
}
clusterMsg 结构的 currentEpoch、sender、myslots 等属性记录了发送者的节点信息,接收者会根据这些信息在 clusterState.nodes 字典里找到发送者对应的 clusterNode 结构,并对结构进行更新,比如传播节点的槽指派信息
消息正文:
union clusterMsgData {
// MEET、PING、PONG 消息的正文
struct {
// 每条 MEET、PING、PONG 消息都包含两个 clusterMsgDataGossip 结构
clusterMsgDataGossip gossip[1];
} ping;
// FAIL 消息的正文
struct {
clusterMsgDataFail about;
} fail;
// PUBLISH 消息的正文
struct {
clusterMsgDataPublish msg;
} publish;
// 其他消息正文...
}
Gossip
Redis 集群中的各个节点通过 Gossip 协议来交换各自关于不同节点的状态信息,其中 Gossip 协议由 MEET、PING、PONG 消息实现,三种消息使用相同的消息正文,所以节点通过消息头的 type 属性来判断消息的具体类型
发送者发送这三种消息时,会从已知节点列表中随机选出两个节点(主从都可以),将两个被选中节点信息保存到两个 Gossip 结构
typedef struct clusterMsgDataGossip {
// 节点的名字
char nodename[REDIS CLUSTER NAMELEN];
// 最后一次向该节点发送PING消息的时间戳
uint32_t ping_sent;
// 最后一次从该节点接收到PONG消息的时间戳
uint32_t pong_received;
// 节点的IP地址
char ip[16];
// 节点的端口号
uint16_t port;
// 节点的标识值
uint16_t flags;
}
当接收者收到消息时,会访问消息正文中的两个数据结构,来进行相关操作
- 如果被选中节点不存在于接收者的已知节点列表,接收者将根据结构中记录的 IP 地址和端口号,与节点进行握手
- 如果存在,根据 Gossip 结构记录的信息对节点所对应的 clusterNode 结构进行更新
FAIL
在集群的节点数量比较大的情况下,使用 Gossip 协议来传播节点的已下线信息会带来一定延迟,因为 Gossip 协议消息通常需要一段时间才能传播至整个集群,所以通过发送 FAIL消息可以让集群里的所有节点立即知道某个主节点已下线,从而尽快进行其他操作
FAIL 消息的正文由 clusterMsgDataFail 结构表示,该结构只有一个属性,记录了已下线节点的名字
typedef struct clusterMsgDataFail {
char nodename[REDIS_CLUSTER_NAMELEN)];
};
因为传播下线信息不需要其他属性,所以节省了传播的资源
PUBLISH
当客户端向集群中的某个节点发送命令,接收到 PUBLISH 命令的节点不仅会向 channel 频道发送消息 message,还会向集群广播一条 PUBLISH 消息,所有接收到这条 PUBLISH 消息的节点都会向 channel 频道发送 message 消息,最终集群中所有节点都发了
PUBLISH <channel> <message>
PUBLISH 消息的正文由 clusterMsgDataPublish 结构表示:
typedef struct clusterMsgDataPublish {
// channel参数的长度
uint32_t channel_len;
// message参数的长度
uint32_t message_len;
// 定义为8字节只是为了对齐其他消息结构,实际的长度由保存的内容决定
// bulk_data 的 0 至 channel_len-1 字节保存的是channel参数
// bulk_data的 channel_len 字节至 channel_len + message_len-1 字节保存的则是message参数
unsigned char bulk_data[8];
}
让集群的所有节点执行相同的 PUBLISH 命令,最简单的方法就是向所有节点广播相同的 PUBLISH 命令,这也是 Redis 复制 PUBLISH 命令时所使用的,但是这种做法并不符合 Redis 集群的各个节点通过发送和接收消息来进行通信的规则
脑裂问题
脑裂指在主从集群中,同时有两个相同的主节点能接收写请求,导致客户端不知道应该往哪个主节点写入数据,最后 不同客户端往不同的主节点上写入数据
- 原主节点并没有真的发生故障,由于某些原因无法处理请求(CPU 利用率很高、自身阻塞),无法按时响应心跳请求,被哨兵/集群主节点错误的判断为下线
- 在被判断下线之后,原主库又重新开始处理请求了,哨兵/集群主节点还没有完成主从切换,客户端仍然可以和原主库通信,客户端发送的写操作就会在原主库上写入数据,造成脑裂问题
数据丢失问题:从库一旦升级为新主库,哨兵就会让原主库执行 slave of 命令,和新主库重新进行全量同步,原主库需要清空本地的数据,加载新主库发送的 RDB 文件,所以原主库在主从切换期间保存的新写数据就丢失了
预防脑裂:在主从集群部署时,合理地配置参数 min-slaves-to-write 和 min-slaves-max-lag
- 假设从库有 K 个,可以将 min-slaves-to-write 设置为 K/2+1(如果 K 等于 1,就设为 1)
- 将 min-slaves-max-lag 设置为十几秒(例如 10~20s)
- 在假故障期间无法响应哨兵发出的心跳测试,无法和从库进行 ACK 确认,并且没有足够的从库,拒绝客户端的写入