SYSTEM
数据淘汰
src/content/notes/system/数据淘汰.md 数据淘汰
逐出算法
数据淘汰策略:当新数据进入 Redis 时,在执行每一个命令前,会调用 freeMemoryIfNeeded() 检测内存是否充足。如果内存不满足新加入数据的最低存储要求,Redis 要临时删除一些数据为当前指令清理存储空间,清理数据的策略称为逐出算法
逐出数据的过程不是 100% 能够清理出足够的可使用的内存空间,如果不成功则反复执行,当对所有数据尝试完毕,如不能达到内存清理的要求,出现 Redis 内存打满异常:
(error) OOM command not allowed when used memory >'maxmemory'
策略配置
Redis 如果不设置最大内存大小或者设置最大内存大小为 0,在 64 位操作系统下不限制内存大小,在 32 位操作系统默认为 3GB 内存,一般推荐设置 Redis 内存为最大物理内存的四分之三
内存配置方式:
-
通过修改文件配置(永久生效):修改配置文件 maxmemory 字段,单位为字节
-
通过命令修改(重启失效):
-
config set maxmemory 104857600:设置 Redis 最大占用内存为 100MB -
config get maxmemory:获取 Redis 最大占用内存 -
info:可以查看 Redis 内存使用情况,used_memory_human字段表示实际已经占用的内存,maxmemory表示最大占用内存
-
影响数据淘汰的相关配置如下,配置 conf 文件:
-
每次选取待删除数据的个数,采用随机获取数据的方式作为待检测删除数据,防止全库扫描,导致严重的性能消耗,降低读写性能
maxmemory-samples count -
达到最大内存后的,对被挑选出来的数据进行删除的策略
maxmemory-policy policy数据删除的策略 policy:3 类 8 种
第一类:检测易失数据(可能会过期的数据集 server.db[i].expires):
volatile-lru # 对设置了过期时间的 key 选择最近最久未使用使用的数据淘汰 volatile-lfu # 对设置了过期时间的 key 选择最近使用次数最少的数据淘汰 volatile-ttl # 对设置了过期时间的 key 选择将要过期的数据淘汰 volatile-random # 对设置了过期时间的 key 选择任意数据淘汰第二类:检测全库数据(所有数据集 server.db[i].dict ):
allkeys-lru # 对所有 key 选择最近最少使用的数据淘汰 allkeLyRs-lfu # 对所有 key 选择最近使用次数最少的数据淘汰 allkeys-random # 对所有 key 选择任意数据淘汰,相当于随机第三类:放弃数据驱逐
no-enviction #禁止驱逐数据(redis4.0中默认策略),会引发OOM(Out Of Memory)
数据淘汰策略配置依据:使用 INFO 命令输出监控信息,查询缓存 hit 和 miss 的次数,根据需求调优 Redis 配置