SYSTEM
第六步:布隆过滤器防缓存穿透
src/content/notes/blog-dev/第六步:布隆过滤器防缓存穿透.md 7. 第六步:布隆过滤器防缓存穿透
思路
在缓存之前加一层布隆过滤器,用极小的内存判断「这个 ID 可能存在」还是「这个 ID 一定不存在」。
布隆过滤器原理
位数组(Bit Array)
┌───┬───┬───┬───┬───┬───┬───┬───┐
│ 0 │ 1 │ 0 │ 1 │ 0 │ 1 │ 0 │ 0 │
└───┴───┴───┴───┴───┴───┴───┴───┘
▲ ▲ ▲
│ │ │
ID=5 的哈希映射 ────┘ │
ID=5 的另一哈希映射 ────┘
判断逻辑:
┌─────────────┐ 所有位都是1 ┌──────────────────┐
│ mightContain │ ───────────────────► │ 可能存在(有误判率)│
└──────┬──────┘ └──────────────────┘
│ 有位是0
▼
┌──────────────┐
│ 一定不存在 │ ← 这个是 100% 准确的
└──────────────┘
BloomFilterUtil 关键代码
@Component
public class BloomFilterUtil {
private RBloomFilter<Long> bloomFilter;
@PostConstruct
public void init() {
bloomFilter = redissonClient.getBloomFilter("articleBloomFilter");
// 初始化:预期10000个元素,误判率0.01
if (!bloomFilter.isExists()) {
boolean success = bloomFilter.tryInit(10000L, 0.01);
if (!success) {
throw new RuntimeException("布隆过滤器初始化失败");
}
}
// 启动时全量加载已有文章 ID
articleRepository.findAll().forEach(a -> bloomFilter.add(a.getId()));
}
public boolean mightContain(Long id) {
return bloomFilter.contains(id);
}
public void add(Long id) {
bloomFilter.add(id);
}
}
防穿透的完整请求流程
┌─────────┐
│ 请求 ID │
└────┬────┘
▼
┌──────────────────┐ 不存在 ┌───────────────────┐
│ ① 布隆过滤器检查 │ ───────────────► │ 直接返回"文章不存在" │
└────┬─────────────┘ └───────────────────┘
│ 可能存在
▼
┌──────────────────┐ 命中 ┌─────────┐
│ ② 查 Redis 缓存 │ ─────────────► │ 返回缓存 │
└────┬─────────────┘ └─────────┘
│ 未命中
▼
┌──────────────────┐ 存在 ┌──────────────────┐
│ ③ 查 MySQL │ ─────────────► │ 写入 Redis,返回 │
└────┬─────────────┘ └──────────────────┘
│ 不存在
▼
┌──────────────────┐
│ ④ 空值缓存 300s │ ← 二次兜底:即使布隆误判,也不打 DB
└──────────────────┘
优化经验
| 问题 | 优化方式 |
|---|---|
| 布隆过滤器初始化失败但应用正常启动 | @PostConstruct 里 throw RuntimeException,Fail-Fast |
| 硬编码容量和误判率 | 用 @Value 或 getter 暴露,方便 Controller 监控 |
| 新增文章后布隆过滤器没更新 | ArticleServiceImpl.createArticle 里调用 bloomFilterUtil.add() |
| 布隆过滤器需要扩容 | 提供 rebuild(newCapacity) 方法 + 管理员接口 |
8. 技术栈与版本
| 技术 | 版本 | 用途 |
|---|---|---|
| Java | 17 | 运行时 |
| Spring Boot | 4.1.0 | 应用框架 |
| Spring Security | 6.x | 认证与授权 |
| Spring Data JPA | 3.x | ORM 与数据访问 |
| MySQL | 8.0 | 关系型数据库 |
| Redis | 7.x | 缓存 / 分布式锁 / 空值缓存 |
| Redisson | 3.27.0 | 布隆过滤器 / 分布式锁 |
| JWT (JJWT) | 0.12.x | Token 生成与验证 |
| BCrypt | — | 密码加密 |
| Lombok | — | 减少样板代码 |
| Vue 3 | 3.5 | 前端框架 |
| Vite | 8.1.1 | 前端构建工具 |
总结:从 CRUD 到企业级的优化路径
纯 CRUD 统一封装 认证授权 缓存优化 前置防护
┌─────────┐ ┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 直接查库 │ ► │ Result<T> │ ► │ JWT + Spring │ ► │ Redis 缓存 │ ► │ 布隆过滤器 │
│ 无统一格式│ │ 全局异常处理 │ │ Security │ │ 分布式锁 │ │ Fail-Fast │
│ 密码明文 │ │ BCrypt 加密 │ │ 角色权限系统 │ │ DCL 防击穿 │ │ 双层防穿透 │
└─────────┘ └─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘
第一步 第二步 第三步 第四步 第五步
每一步的核心经验:
- CRUD:用 JPA 快速搭建,不要过早优化
- 统一封装:前后端一致的数据格式,是协作的基础
- 认证授权:Spring Security Filter Chain 是行业标准,不要自己造轮子
- 缓存优化:Cache-Aside + 分布式锁 + 随机过期,三板斧解决三大问题
- 前置防护:布隆过滤器 + Fail-Fast,用极小成本拦截无效请求