SYSTEM
主从切换
src/content/notes/system/主从切换.md 主从切换
正常切换
正常切换步骤:
-
在开始切换之前先对主库进行锁表
flush tables with read lock,然后等待所有语句执行完成,切换完成后可以释放锁 -
检查 slave 同步状态,在 slave 执行
show processlist -
停止 slave io 线程,执行命令
STOP SLAVE IO_THREAD -
提升 slave 为 master
Stop slave; Reset master; Reset slave all; set global read_only=off; -- 设置为可更新状态 -
将原来 master 变为 slave(参考搭建流程中的 slave 方法)
可靠性优先策略:
- 判断备库 B 现在的 seconds_behind_master,如果小于某个值(比如 5 秒)继续下一步,否则持续重试这一步
- 把主库 A 改成只读状态,即把 readonly 设置为 true
- 判断备库 B 的 seconds_behind_master 的值,直到这个值变成 0 为止(该步骤比较耗时,所以步骤 1 中要尽量等待该值变小)
- 把备库 B 改成可读写状态,也就是把 readonly 设置为 false
- 把业务请求切到备库 B
可用性优先策略:先做最后两步,会造成主备数据不一致的问题
参考文章:https://time.geekbang.org/column/article/76795
健康检测
主库发生故障后从库会上位,其他从库指向新的主库,所以需要一个健康检测的机制来判断主库是否宕机
-
select 1 判断,但是高并发下检测不出线程的锁等待的阻塞问题
-
查表判断,在系统库(mysql 库)里创建一个表,比如命名为 health_check,里面只放一行数据,然后定期执行。但是当 binlog 所在磁盘的空间占用率达到 100%,所有的更新和事务提交语句都被阻塞,查询语句可以继续运行
-
更新判断,在健康检测表中放一个 timestamp 字段,用来表示最后一次执行检测的时间
UPDATE mysql.health_check SET t_modified=now();节点可用性的检测都应该包含主库和备库,为了让主备之间的更新不产生冲突,可以在 mysql.health_check 表上存入多行数据,并用主备的 server_id 做主键,保证主、备库各自的检测命令不会发生冲突
基于位点
主库上位后,从库 B 执行 CHANGE MASTER TO 命令,指定 MASTER_LOG_FILE、MASTER_LOG_POS 表示从新主库 A 的哪个文件的哪个位点开始同步,这个位置就是同步位点,对应主库的文件名和日志偏移量
寻找位点需要找一个稍微往前的,然后再通过判断跳过那些在从库 B 上已经执行过的事务,获取位点方法:
- 等待新主库 A 把中转日志(relay log)全部同步完成
- 在 A 上执行 show master status 命令,得到当前 A 上最新的 File 和 Position
- 取原主库故障的时刻 T,用 mysqlbinlog 工具解析新主库 A 的 File,得到 T 时刻的位点
通常情况下该值并不准确,在切换的过程中会发生错误,所以要先主动跳过这些错误:
-
切换过程中,可能会重复执行一个事务,所以需要主动跳过所有重复的事务
SET GLOBAL sql_slave_skip_counter=1; START SLAVE; -
设置 slave_skip_errors 参数,直接设置跳过指定的错误,保证主从切换的正常进行
- 1062 错误是插入数据时唯一键冲突
- 1032 错误是删除数据时找不到行
该方法针对的是主备切换时,由于找不到精确的同步位点,只能采用这种方法来创建从库和新主库的主备关系。等到主备间的同步关系建立完成并稳定执行一段时间后,还需要把这个参数设置为空,以免真的出现了主从数据不一致也跳过了
基于GTID
GTID
GTID 的全称是 Global Transaction Identifier,全局事务 ID,是一个事务在提交时生成的,是这个事务的唯一标识,组成:
GTID=source_id:transaction_id
- source_id:是一个实例第一次启动时自动生成的,是一个全局唯一的值
- transaction_id:初始值是 1,每次提交事务的时候分配给这个事务,并加 1,是连续的(区分事务 ID,事务 ID 是在执行时生成)
启动 MySQL 实例时,加上参数 gtid_mode=on 和 enforce_gtid_consistency=on 就可以启动 GTID 模式,每个事务都会和一个 GTID 一一对应,每个 MySQL 实例都维护了一个 GTID 集合,用来存储当前实例执行过的所有事务
GTID 有两种生成方式,使用哪种方式取决于 session 变量 gtid_next:
-
gtid_next=automatic:使用默认值,把 source_id:transaction_id (递增)分配给这个事务,然后加入本实例的 GTID 集合@@SESSION.GTID_NEXT = 'source_id:transaction_id'; -
gtid_next=GTID:指定的 GTID 的值,如果该值已经存在于实例的 GTID 集合中,接下来执行的事务会直接被系统忽略;反之就将该值分配给接下来要执行的事务,系统不需要给这个事务生成新的 GTID,也不用加 1注意:一个 GTID 只能给一个事务使用,所以执行下一个事务,要把 gtid_next 设置成另外一个 GTID 或者 automatic
业务场景:
-
主库 X 和从库 Y 执行一条相同的指令后进行事务同步
INSERT INTO t VALUES(1,1); -
当 Y 同步 X 时,会出现主键冲突,导致实例 X 的同步线程停止,解决方法:
SET gtid_next='(这里是主库 X 的 GTID 值)'; BEGIN; COMMIT; SET gtid_next=automatic; START SLAVE;前三条语句通过提交一个空事务,把 X 的 GTID 加到实例 Y 的 GTID 集合中,实例 Y 就会直接跳过这个事务
切换
在 GTID 模式下,CHANGE MASTER TO 不需要指定日志名和日志偏移量,指定 master_auto_position=1 代表使用 GTID 模式
新主库实例 A 的 GTID 集合记为 set_a,从库实例 B 的 GTID 集合记为 set_b,主备切换逻辑:
- 实例 B 指定主库 A,基于主备协议建立连接,实例 B 并把 set_b 发给主库 A
- 实例 A 算出 set_a 与 set_b 的差集,就是所有存在于 set_a 但不存在于 set_b 的 GTID 的集合,判断 A 本地是否包含了这个差集需要的所有 binlog 事务
- 如果不包含,表示 A 已经把实例 B 需要的 binlog 给删掉了,直接返回错误
- 如果确认全部包含,A 从自己的 binlog 文件里面,找出第一个不在 set_b 的事务,发给 B
- 实例 A 之后就从这个事务开始,往后读文件,按顺序取 binlog 发给 B 去执行
参考文章:https://time.geekbang.org/column/article/77427