← 返回学习路线

SYSTEM

第六步:布隆过滤器防缓存穿透

博客系统工程7. 第六步:布隆过滤器防缓存穿透blog-dev
src/content/notes/blog-dev/第六步:布隆过滤器防缓存穿透.md

7. 第六步:布隆过滤器防缓存穿透

思路

在缓存之前加一层布隆过滤器,用极小的内存判断「这个 ID 可能存在」还是「这个 ID 一定不存在」。

布隆过滤器原理

                    位数组(Bit Array)
              ┌───┬───┬───┬───┬───┬───┬───┬───┐
              │ 0 │ 1 │ 0 │ 1 │ 0 │ 1 │ 0 │ 0 │
              └───┴───┴───┴───┴───┴───┴───┴───┘
                      ▲       ▲   ▲
                      │       │   │
           ID=5 的哈希映射 ────┘   │
           ID=5 的另一哈希映射 ────┘

  判断逻辑:
  ┌─────────────┐     所有位都是1     ┌──────────────────┐
  │ mightContain │ ───────────────────► │ 可能存在(有误判率)│
  └──────┬──────┘                      └──────────────────┘
         │ 有位是0
         ▼
  ┌──────────────┐
  │  一定不存在   │  ← 这个是 100% 准确的
  └──────────────┘

BloomFilterUtil 关键代码

@Component
public class BloomFilterUtil {
    private RBloomFilter<Long> bloomFilter;

    @PostConstruct
    public void init() {
        bloomFilter = redissonClient.getBloomFilter("articleBloomFilter");
        // 初始化:预期10000个元素,误判率0.01
        if (!bloomFilter.isExists()) {
            boolean success = bloomFilter.tryInit(10000L, 0.01);
            if (!success) {
                throw new RuntimeException("布隆过滤器初始化失败");
            }
        }
        // 启动时全量加载已有文章 ID
        articleRepository.findAll().forEach(a -> bloomFilter.add(a.getId()));
    }

    public boolean mightContain(Long id) {
        return bloomFilter.contains(id);
    }

    public void add(Long id) {
        bloomFilter.add(id);
    }
}

防穿透的完整请求流程

┌─────────┐
│ 请求 ID  │
└────┬────┘
     ▼
┌──────────────────┐     不存在      ┌───────────────────┐
│ ① 布隆过滤器检查  │ ───────────────► │ 直接返回"文章不存在" │
└────┬─────────────┘                 └───────────────────┘
     │ 可能存在
     ▼
┌──────────────────┐     命中      ┌─────────┐
│ ② 查 Redis 缓存  │ ─────────────► │ 返回缓存 │
└────┬─────────────┘               └─────────┘
     │ 未命中
     ▼
┌──────────────────┐     存在      ┌──────────────────┐
│ ③ 查 MySQL       │ ─────────────► │ 写入 Redis,返回  │
└────┬─────────────┘               └──────────────────┘
     │ 不存在
     ▼
┌──────────────────┐
│ ④ 空值缓存 300s  │  ← 二次兜底:即使布隆误判,也不打 DB
└──────────────────┘

优化经验

问题 优化方式
布隆过滤器初始化失败但应用正常启动 @PostConstruct 里 throw RuntimeException,Fail-Fast
硬编码容量和误判率 用 @Value 或 getter 暴露,方便 Controller 监控
新增文章后布隆过滤器没更新 ArticleServiceImpl.createArticle 里调用 bloomFilterUtil.add()
布隆过滤器需要扩容 提供 rebuild(newCapacity) 方法 + 管理员接口

8. 技术栈与版本

技术 版本 用途
Java 17 运行时
Spring Boot 4.1.0 应用框架
Spring Security 6.x 认证与授权
Spring Data JPA 3.x ORM 与数据访问
MySQL 8.0 关系型数据库
Redis 7.x 缓存 / 分布式锁 / 空值缓存
Redisson 3.27.0 布隆过滤器 / 分布式锁
JWT (JJWT) 0.12.x Token 生成与验证
BCrypt — 密码加密
Lombok — 减少样板代码
Vue 3 3.5 前端框架
Vite 8.1.1 前端构建工具

总结:从 CRUD 到企业级的优化路径

  纯 CRUD              统一封装              认证授权             缓存优化            前置防护
┌─────────┐       ┌─────────────┐      ┌──────────────┐    ┌──────────────┐   ┌──────────────┐
│ 直接查库  │  ►   │ Result<T>   │  ►   │ JWT + Spring │ ►  │ Redis 缓存   │ ► │ 布隆过滤器   │
│ 无统一格式│       │ 全局异常处理 │      │ Security     │    │ 分布式锁     │   │ Fail-Fast   │
│ 密码明文  │       │ BCrypt 加密  │      │ 角色权限系统  │    │ DCL 防击穿   │   │ 双层防穿透   │
└─────────┘       └─────────────┘      └──────────────┘    └──────────────┘   └──────────────┘
   第一步               第二步                第三步              第四步             第五步

每一步的核心经验:

  1. CRUD:用 JPA 快速搭建,不要过早优化
  2. 统一封装:前后端一致的数据格式,是协作的基础
  3. 认证授权:Spring Security Filter Chain 是行业标准,不要自己造轮子
  4. 缓存优化:Cache-Aside + 分布式锁 + 随机过期,三板斧解决三大问题
  5. 前置防护:布隆过滤器 + Fail-Fast,用极小成本拦截无效请求