← 返回学习路线

SYSTEM

部分同步

Java基础部分同步system
src/content/notes/system/部分同步.md

部分同步

部分重同步功能由以下三个部分构成:

  • 主服务器的复制偏移量(replication offset)和从服务器的复制偏移量
  • 主服务器的复制积压缓冲区(replication backlog)
  • 服务器的运行 ID (run ID)

偏移量

主服务器和从服务器会分别维护一个复制偏移量:

  • 主服务器每次向从服务器传播 N 个字节的数据时,就将自己的复制偏移量的值加上 N

  • 从服务器每次收到主服务器传播来的 N 个字节的数据时,就将自己的复制偏移量的值加上 N

通过对比主从服务器的复制偏移量,可以判断主从服务器是否处于一致状态

  • 主从服务器的偏移量是相同的,说明主从服务器处于一致状态
  • 主从服务器的偏移量是不同的,说明主从服务器处于不一致状态

缓冲区

复制积压缓冲区是由主服务器维护的一个固定长度(fixed-size)先进先出(FIFO)队列,默认大小为 1MB

  • 出队规则跟普通的先进先出队列一样
  • 入队规则是当入队元素的数量大于队列长度时,最先入队的元素会被弹出,然后新元素才会被放入队列

当主服务器进行命令传播时,不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区,缓冲区会保存着一部分最近传播的写命令,并且缓冲区会为队列中的每个字节记录相应的复制偏移量

从服务器会通过 PSYNC 命令将自己的复制偏移量 offset 发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作:

  • offset 之后的数据(即 offset+1)仍然存在于复制积压缓冲区里,那么主服务器将对从服务器执行部分重同步操作
  • offset 之后的数据已经不在复制积压缓冲区,说明部分数据已经丢失,那么主服务器将对从服务器执行完整重同步操作

复制缓冲区大小设定不合理,会导致数据溢出。比如主服务器需要执行大量写命令,又或者主从服务器断线后重连接所需的时间较长,导致缓冲区中的数据已经丢失,则必须进行完整重同步

repl-backlog-size ?mb

建议设置如下,这样可以保证绝大部分断线情况都能用部分重同步来处理:

  • 从服务器断线后重新连接上主服务器所需的平均时间 second
  • 获取 master 平均每秒产生写命令数据总量 write_size_per_second
  • 最优复制缓冲区空间 = 2 * second * write_size_per_second

运行ID

服务器运行 ID(run ID):是每一台服务器每次运行的身份识别码,在服务器启动时自动生成,由 40 位随机的十六进制字符组成,一台服务器多次运行可以生成多个运行 ID

作用:服务器间进行传输识别身份,如果想两次操作均对同一台服务器进行,每次必须操作携带对应的运行 ID,用于对方识别

从服务器对主服务器进行初次复制时,主服务器将自己的运行 ID 传送给从服务器,然后从服务器会将该运行 ID 保存。当从服务器断线并重新连上一个主服务器时,会向当前连接的主服务器发送之前保存的运行 ID:

  • 如果运行 ID 和当前连接的主服务器的运行 ID 相同,说明从服务器断线之前复制的就是当前连接的这个主服务器,执行部分重同步
  • 如果不同,需要执行完整重同步操作

PSYNC

PSYNC 命令的调用方法有两种

  • 如果从服务器之前没有复制过任何主服务器,或者执行了 SLAVEOF no one,开始一次新的复制时将向主服务器发送 PSYNC ? -1 命令,主动请求主服务器进行完整重同步
  • 如果从服务器已经复制过某个主服务器,那么从服务器在开始一次新的复制时将向主服务器发送 PSYNC <runid> <offset> 命令,runid 是上一次复制的主服务器的运行 ID,offset 是复制的偏移量

接收到 PSYNC 命令的主服务器会向从服务器返回以下三种回复的其中一种:

  • 执行完整重同步操作:返回 +FULLRESYNC <runid> <offset>,runid 是主服务器的运行 ID,offset 是主服务器的复制偏移量
  • 执行部分重同步操作:返回 +CONTINUE,从服务器收到该回复说明只需要等待主服务器发送缺失的部分数据即可
  • 主服务器的版本低于 Redis2.8:返回 -ERR,版本过低识别不了 PSYNC,从服务器将向主服务器发送 SYNC 命令