← 返回学习路线

SYSTEM

主从延迟

Java基础主从延迟system
src/content/notes/system/主从延迟.md

主从延迟

延迟原因

正常情况主库执行更新生成的所有 binlog,都可以传到从库并被正确地执行,从库就能达到跟主库一致的状态,这就是最终一致性

主从延迟是主从之间是存在一定时间的数据不一致,就是同一个事务在从库执行完成的时间和主库执行完成的时间的差值,即 T2-T1

  • 主库 A 执行完成一个事务,写入 binlog,该时刻记为 T1
  • 日志传给从库 B,从库 B 执行完这个事务,该时刻记为 T2

通过在从库执行 show slave status 命令,返回结果会显示 seconds_behind_master 表示当前从库延迟了多少秒

  • 每一个事务的 binlog 都有一个时间字段,用于记录主库上写入的时间
  • 从库取出当前正在执行的事务的时间字段,跟系统的时间进行相减,得到的就是 seconds_behind_master

主从延迟的原因:

  • 从库的机器性能比主库的差,导致从库的复制能力弱
  • 从库的查询压力大,建立一主多从的结构
  • 大事务的执行,主库必须要等到事务完成之后才会写入 binlog,导致从节点出现应用 binlog 延迟
  • 主库的 DDL,从库与主库的 DDL 同步是串行进行,DDL 在主库执行时间很长,那么从库也会消耗同样的时间
  • 锁冲突问题也可能导致从节点的 SQL 线程执行慢

主从同步问题永远都是一致性和性能的权衡,需要根据实际的应用场景,可以采取下面的办法:

  • 优化 SQL,避免慢 SQL,减少批量操作

  • 降低多线程大事务并发的概率,优化业务逻辑

  • 业务中大多数情况查询操作要比更新操作更多,搭建一主多从结构,让这些从库来分担读的压力

  • 尽量采用短的链路,主库和从库服务器的距离尽量要短,提升端口带宽,减少 binlog 传输的网络延时

  • 实时性要求高的业务读强制走主库,从库只做备份


并行复制

MySQL5.6

高并发情况下,主库的会产生大量的 binlog,在从库中有两个线程 IO Thread 和 SQL Thread 单线程执行,会导致主库延迟变大。为了改善复制延迟问题,MySQL 5.6 版本增加了并行复制功能,以采用多线程机制来促进执行

coordinator 就是原来的 SQL Thread,并行复制中它不再直接更新数据,只负责读取中转日志和分发事务:

  • 线程分配完成并不是立即执行,为了防止造成更新覆盖,更新同一 DB 的两个事务必须被分发到同一个工作线程
  • 同一个事务不能被拆开,必须放到同一个工作线程

MySQL 5.6 版本的策略:每个线程对应一个 hash 表,用于保存当前这个线程的执行队列里的事务所涉及的表,hash 表的 key 是数据库名,value 是一个数字,表示队列中有多少个事务修改这个库,适用于主库上有多个 DB 的情况

每个事务在分发的时候,跟线程的冲突(事务操作的是同一个库)关系包括以下三种情况:

  • 如果跟所有线程都不冲突,coordinator 线程就会把这个事务分配给最空闲的线程
  • 如果只跟一个线程冲突,coordinator 线程就会把这个事务分配给这个存在冲突关系的线程
  • 如果跟多于一个线程冲突,coordinator 线程就进入等待状态,直到和这个事务存在冲突关系的线程只剩下 1 个

优缺点:

  • 构造 hash 值的时候很快,只需要库名,而且一个实例上 DB 数也不会很多,不会出现需要构造很多项的情况
  • 不要求 binlog 的格式,statement 格式的 binlog 也可以很容易拿到库名(日志章节详解了 binlog)
  • 主库上的表都放在同一个 DB 里面,这个策略就没有效果了;或者不同 DB 的热点不同,比如一个是业务逻辑库,一个是系统配置库,那也起不到并行的效果,需要把相同热度的表均匀分到这些不同的 DB 中,才可以使用这个策略

MySQL5.7

MySQL 5.7 由参数 slave-parallel-type 来控制并行复制策略:

  • 配置为 DATABASE,表示使用 MySQL 5.6 版本的按库(DB)并行策略
  • 配置为 LOGICAL_CLOCK,表示的按提交状态并行执行

按提交状态并行复制策略的思想是:

  • 所有处于 commit 状态的事务可以并行执行;同时处于 prepare 状态的事务,在从库执行时是可以并行的
  • 处于 prepare 状态的事务,与处于 commit 状态的事务之间,在从库执行时也是可以并行的

MySQL 5.7.22 版本里,MySQL 增加了一个新的并行复制策略,基于 WRITESET 的并行复制,新增了一个参数 binlog-transaction-dependency-tracking,用来控制是否启用这个新策略:

  • COMMIT_ORDER:表示根据同时进入 prepare 和 commit 来判断是否可以并行的策略

  • WRITESET:表示的是对于每个事务涉及更新的每一行,计算出这一行的 hash 值,组成该事务的 writeset 集合,如果两个事务没有操作相同的行,也就是说它们的 writeset 没有交集,就可以并行(按行并行)

    为了唯一标识,这个 hash 表的值是通过 库名 + 表名 + 索引名 + 值(表示的是某一行)计算出来的

  • WRITESET_SESSION:是在 WRITESET 的基础上多了一个约束,即在主库上同一个线程先后执行的两个事务,在备库执行的时候,要保证相同的先后顺序

MySQL 5.7.22 按行并发的优势:

  • writeset 是在主库生成后直接写入到 binlog 里面的,这样在备库执行的时候,不需要解析 binlog 内容,节省了计算量
  • 不需要把整个事务的 binlog 都扫一遍才能决定分发到哪个线程,更省内存
  • 从库的分发策略不依赖于 binlog 内容,所以 binlog 是 statement 格式也可以,更节约内存(因为 row 才记录更改的行)

MySQL 5.7.22 的并行复制策略在通用性上是有保证的,但是对于表上没主键、唯一和外键约束的场景,WRITESET 策略也是没法并行的,也会暂时退化为单线程模型

参考文章:https://time.geekbang.org/column/article/77083