SYSTEM
解决方案
src/content/notes/system/解决方案.md 解决方案
缓存方案
缓存模式
旁路缓存
缓存本质:弥补 CPU 的高算力和 IO 的慢读写之间巨大的鸿沟
旁路缓存模式 Cache Aside Pattern 是平时使用比较多的一个缓存读写模式,比较适合读请求比较多的场景
Cache Aside Pattern 中服务端需要同时维系 DB 和 cache,并且是以 DB 的结果为准
- 写操作:先更新 DB,然后直接删除 cache
- 读操作:从 cache 中读取数据,读取到就直接返回;读取不到就从 DB 中读取数据返回,并放到 cache
时序导致的不一致问题:
-
在写数据的过程中,不能先删除 cache 再更新 DB,因为会造成缓存的不一致。比如请求 1 先写数据 A,请求 2 随后读数据 A,当请求 1 删除 cache 后,请求 2 直接读取了 DB,此时请求 1 还没写入 DB(延迟双删)
-
在写数据的过程中,先更新 DB 再删除 cache 也会出现问题,但是概率很小,因为缓存的写入速度非常快
旁路缓存的缺点:
- 首次请求数据一定不在 cache 的问题,一般采用缓存预热的方法,将热点数据可以提前放入 cache 中
- 写操作比较频繁的话导致 cache 中的数据会被频繁被删除,影响缓存命中率
删除缓存而不是更新缓存的原因:每次更新数据库都更新缓存,造成无效写操作较多(懒惰加载,需要的时候再放入缓存)
读写穿透
读写穿透模式 Read/Write Through Pattern:服务端把 cache 视为主要数据存储,从中读取数据并将数据写入其中,cache 负责将此数据同步写入 DB,从而减轻了应用程序的职责
-
写操作:先查 cache,cache 中不存在,直接更新 DB;cache 中存在则先更新 cache,然后 cache 服务更新 DB(同步更新 cache 和 DB)
-
读操作:从 cache 中读取数据,读取到就直接返回 ;读取不到先从 DB 加载,写入到 cache 后返回响应
Read-Through Pattern 实际只是在 Cache-Aside Pattern 之上进行了封装。在 Cache-Aside Pattern 下,发生读请求的时候,如果 cache 中不存在对应的数据,是由客户端负责把数据写入 cache,而 Read Through Pattern 则是 cache 服务自己来写入缓存的,对客户端是透明的
Read-Through Pattern 也存在首次不命中的问题,采用缓存预热解决
异步缓存
异步缓存写入 Write Behind Pattern 由 cache 服务来负责 cache 和 DB 的读写,对比读写穿透不同的是 Write Behind Caching 是只更新缓存,不直接更新 DB,改为异步批量的方式来更新 DB,可以减小写的成本
缺点:这种模式对数据一致性没有高要求,可能出现 cache 还没异步更新 DB,服务就挂掉了
应用:
-
DB 的写性能非常高,适合一些数据经常变化又对数据一致性要求不高的场景,比如浏览量、点赞量
-
MySQL 的 InnoDB Buffer Pool 机制用到了这种策略
缓存一致
使用缓存代表不需要强一致性,只需要最终一致性
缓存不一致的方法:
-
数据库和缓存数据强一致场景:
-
同步双写:更新 DB 时同样更新 cache,保证在一个事务中,通过加锁来保证更新 cache 时不存在线程安全问题
-
延迟双删:先淘汰缓存再写数据库,休眠 1 秒再次淘汰缓存,可以将 1 秒内造成的缓存脏数据再次删除
-
异步通知:
- 基于 MQ 的异步通知:对数据的修改后,代码需要发送一条消息到 MQ 中,缓存服务监听 MQ 消息
- Canal 订阅 MySQL binlog 的变更上报给 Kafka,系统监听 Kafka 消息触发缓存失效,或者直接将变更发送到处理服务,没有任何代码侵入
低耦合,可以同时通知多个缓存服务,但是时效性一般,可能存在中间不一致状态
-
-
低一致性场景:
- 更新 DB 的时候同样更新 cache,但是给缓存加一个比较短的过期时间,这样就可以保证即使数据不一致影响也比较小
- 使用 Redis 自带的内存淘汰机制
缓存问题
缓存预热
场景:宕机,服务器启动后迅速宕机
问题排查:
-
请求数量较高,大量的请求过来之后都需要去从缓存中获取数据,但是缓存中又没有,此时从数据库中查找数据然后将数据再存入缓存,造成了短期内对 redis 的高强度操作从而导致问题
-
主从之间数据吞吐量较大,数据同步操作频度较高
解决方案:
-
前置准备工作:
-
日常例行统计数据访问记录,统计访问频度较高的热点数据
-
利用 LRU 数据删除策略,构建数据留存队列例如:storm 与 kafka 配合
-
-
准备工作:
-
将统计结果中的数据分类,根据级别,redis 优先加载级别较高的热点数据
-
利用分布式多服务器同时进行数据读取,提速数据加载过程
-
热点数据主从同时预热
-
-
实施:
-
使用脚本程序固定触发数据预热过程
-
如果条件允许,使用了 CDN(内容分发网络),效果会更好
-
总的来说:缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题,用户直接查询事先被预热的缓存数据
缓存雪崩
场景:数据库服务器崩溃,一连串的问题会随之而来
问题排查:在一个较短的时间内,缓存中较多的 key 集中过期,此周期内请求访问过期的数据 Redis 未命中,Redis 向数据库获取数据,数据库同时收到大量的请求无法及时处理。
解决方案:
- 加锁,慎用
- 设置热点数据永远不过期,如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中
- 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生
- 构建多级缓存架构,Nginx 缓存 + Redis 缓存 + ehcache 缓存
- 灾难预警机制,监控 Redis 服务器性能指标,CPU 使用率、内存容量、平均响应时间、线程数
- 限流、降级:短时间范围内牺牲一些客户体验,限制一部分请求访问,降低应用服务器压力,待业务低速运转后再逐步放开访问
总的来说:缓存雪崩就是瞬间过期数据量太大,导致对数据库服务器造成压力。如能够有效避免过期时间集中,可以有效解决雪崩现象的出现(约 40%),配合其他策略一起使用,并监控服务器的运行数据,根据运行记录做快速调整。
缓存击穿
缓存击穿也叫热点 Key 问题
-
Redis 中某个 key 过期,该 key 访问量巨大
-
多个数据请求从服务器直接压到 Redis 后,均未命中
-
Redis 在短时间内发起了大量对数据库中同一数据的访问
解决方案:
-
预先设定:以电商为例,每个商家根据店铺等级,指定若干款主打商品,在购物节期间,加大此类信息 key 的过期时长 注意:购物节不仅仅指当天,以及后续若干天,访问峰值呈现逐渐降低的趋势
-
现场调整:监控访问量,对自然流量激增的数据延长过期时间或设置为永久性 key
-
后台刷新数据:启动定时任务,高峰期来临之前,刷新数据有效期,确保不丢失
-
二级缓存:设置不同的失效时间,保障不会被同时淘汰就行
-
加锁:分布式锁,防止被击穿,但是要注意也是性能瓶颈,慎重
总的来说:缓存击穿就是单个高热数据过期的瞬间,数据访问量较大,未命中 Redis 后,发起了大量对同一数据的数据库访问,导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行,配合运行监控测试与即时调整策略,毕竟单个 key 的过期监控难度较高,配合雪崩处理策略即可
缓存穿透
场景:系统平稳运行过程中,应用服务器流量随时间增量较大,Redis 服务器命中率随时间逐步降低,Redis 内存平稳,内存无压力,Redis 服务器 CPU 占用激增,数据库服务器压力激增,数据库崩溃
问题排查:
-
Redis 中大面积出现未命中
-
出现非正常 URL 访问
问题分析:
- 访问了不存在的数据,跳过了 Redis 缓存,数据库页查询不到对应数据
- Redis 获取到 null 数据未进行持久化,直接返回
- 出现黑客攻击服务器
解决方案:
-
缓存 null:对查询结果为 null 的数据进行缓存,设定短时限,例如 30-60 秒,最高 5 分钟
-
白名单策略:提前预热各种分类数据 id 对应的 bitmaps,id 作为 bitmaps 的 offset,相当于设置了数据白名单。当加载正常数据时放行,加载异常数据时直接拦截(效率偏低),也可以使用布隆过滤器(有关布隆过滤器的命中问题对当前状况可以忽略)
-
实时监控:实时监控 Redis 命中率(业务正常范围时,通常会有一个波动值)与 null 数据的占比
- 非活动时段波动:通常检测 3-5 倍,超过 5 倍纳入重点排查对象
- 活动时段波动:通常检测10-50 倍,超过 50 倍纳入重点排查对象
根据倍数不同,启动不同的排查流程。然后使用黑名单进行防控
-
key 加密:临时启动防灾业务 key,对 key 进行业务层传输加密服务,设定校验程序,过来的 key 校验;例如每天随机分配 60 个加密串,挑选 2 到 3 个,混淆到页面数据 id 中,发现访问 key 不满足规则,驳回数据访问
总的来说:缓存击穿是指访问了不存在的数据,跳过了合法数据的 Redis 数据缓存阶段,每次访问数据库,导致对数据库服务器造成压力。通常此类数据的出现量是一个较低的值,当出现此类情况以毒攻毒,并及时报警。无论是黑名单还是白名单,都是对整体系统的压力,警报解除后尽快移除
参考视频:https://www.bilibili.com/video/BV15y4y1r7X3
Key 设计
大 Key:通常以 Key 的大小和 Key 中成员的数量来综合判定,引发的问题:
- 客户端执行命令的时长变慢
- Redis 内存达到 maxmemory 定义的上限引发操作阻塞或重要的 Key 被逐出,甚至引发内存溢出(OOM)
- 集群架构下,某个数据分片的内存使用率远超其他数据分片,使数据分片的内存资源不均衡
- 对大 Key 执行读请求,会使 Redis 实例的带宽使用率被占满,导致自身服务变慢,同时易波及相关的服务
- 对大 Key 执行删除操作,会造成主库较长时间的阻塞,进而可能引发同步中断或主从切换
热 Key:通常以其接收到的 Key 被请求频率来判定,引发的问题:
- 占用大量的 CPU 资源,影响其他请求并导致整体性能降低
- 分布式集群架构下,产生访问倾斜,即某个数据分片被大量访问,而其他数据分片处于空闲状态,可能引起该数据分片的连接数被耗尽,新的连接建立请求被拒绝等问题
- 在抢购或秒杀场景下,可能因商品对应库存 Key 的请求量过大,超出 Redis 处理能力造成超卖
- 热 Key 的请求压力数量超出 Redis 的承受能力易造成缓存击穿,即大量请求将被直接指向后端的存储层,导致存储访问量激增甚至宕机,从而影响其他业务
热 Key 分类两种,治理方式如下:
- 一种是单一数据,比如秒杀场景,假设总量 10000 可以拆为多个 Key 进行访问,每次对请求进行路由到不同的 Key 访问,保证最终一致性,但是会出现访问不同 Key 产生的剩余量是不同的,这时可以通过前端进行 Mock 假数据
- 一种是多数据集合,比如进行 ID 过滤,这时可以添加本地 LRU 缓存,减少对热 Key 的访问
参考文档:https://help.aliyun.com/document_detail/353223.html
慢查询
确认服务和 Redis 之间的链路是否正常,排除网络原因后进行 Redis 的排查:
- 使用复杂度过高的命令
- 操作大 key,分配内存和释放内存会比较耗时
- key 集中过期,导致定时任务需要更长的时间去清理
- 实例内存达到上限,每次写入新的数据之前,Redis 必须先从实例中踢出一部分数据
参考文章:https://www.cnblogs.com/traditional/p/15633919.html(非常好)
Java
JDBC
概述
JDBC(Java DataBase Connectivity,Java 数据库连接)是一种用于执行 SQL 语句的 Java API,可以为多种关系型数据库提供统一访问,是由一组用 Java 语言编写的类和接口组成的。
JDBC 是 Java 官方提供的一套规范(接口),用于帮助开发人员快速实现不同关系型数据库的连接