← 返回学习路线

SYSTEM

其他操作

Java基础其他操作system
src/content/notes/system/其他操作.md

其他操作

发布订阅

基本指令

Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息

Redis 客户端可以订阅任意数量的频道,每当有客户端向被订阅的频道发送消息(message)时,频道的所有订阅者都会收到消息

操作过程:

  • 打开一个客户端订阅 channel1:SUBSCRIBE channel1

  • 打开另一个客户端,给 channel1 发布消息 hello:PUBLISH channel1 hello

  • 第一个客户端可以看到发送的消息

客户端还可以通过 PSUBSCRIBE 命令订阅一个或多个模式,每当有其他客户端向某个频道发送消息时,消息不仅会被发送给这个频道的所有订阅者,还会被发送给所有与这个频道相匹配的模式的订阅者,比如 PSUBSCRIBE channel* 订阅模式,与 channel1 匹配

注意:发布的消息没有持久化,所以订阅的客户端只能收到订阅后发布的消息


频道操作

Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里,键是某个被订阅的频道,值是一个记录所有订阅这个频道的客户端链表

struct redisServer {
	// 保存所有频道的订阅关系,
	dict *pubsub_channels;
}

客户端执行 SUBSCRIBE 命令订阅某个或某些频道,服务器会将客户端与频道进行关联:

  • 频道已经存在,直接将客户端添加到链表末尾
  • 频道还未有任何订阅者,在字典中为频道创建一个键值对,再将客户端添加到链表

UNSUBSCRIBE 命令用来退订某个频道,服务器将从 pubsub_channels 中解除客户端与被退订频道之间的关联


模式操作

Redis 服务器将所有模式的订阅关系都保存在服务器状态的 pubsub_patterns 属性里

struct redisServer {
	// 保存所有模式订阅关系,链表中每个节点是一个 pubsubPattern
	list *pubsub_patterns;
}

typedef struct pubsubPattern {
    // 订阅的客户端
    redisClient *client;
	// 被订阅的模式,比如  channel*
    robj *pattern; 
}

客户端执行 PSUBSCRIBE 命令订阅某个模式,服务器会新建一个 pubsubPattern 结构并赋值,放入 pubsub_patterns 链表结尾

模式的退订命令 PUNSUBSCRIBE 是订阅命令的反操作,服务器在 pubsub_patterns 链表中查找并删除对应的结构


发送消息

Redis 客户端执行 PUBLISH <channel> <message> 命令将消息 message发送给频道 channel,服务器会执行:

  • 在 pubsub_channels 字典里找到频道 channel 的订阅者名单,将消息 message 发送给所有订阅者
  • 遍历整个 pubsub_patterns 链表,查找与 channel 频道相匹配的模式,并将消息发送给所有订阅了这些模式的客户端
// 如果频道和模式相匹配
if match(channel, pubsubPattern.pattern) {
    // 将消息发送给订阅该模式的客户端
    send_message(pubsubPattern.client, message);
}

查看信息

PUBSUB 命令用来查看频道或者模式的相关信息

PUBSUB CHANNELS [pattern] 返回服务器当前被订阅的频道,其中 pattern 参数是可选的

  • 如果不给定 pattern 参数,那么命令返回服务器当前被订阅的所有频道
  • 如果给定 pattern 参数,那么命令返回服务器当前被订阅的频道中与 pattern 模式相匹配的频道

PUBSUB NUMSUB [channel-1 channel-2 ... channel-n] 命令接受任意多个频道作为输入参数,并返回这些频道的订阅者数量

PUBSUB NUMPAT 命令用于返回服务器当前被订阅模式的数量


ACL 指令

Redis ACL 是 Access Control List(访问控制列表)的缩写,该功能允许根据可以执行的命令和可以访问的键来限制某些连接

  • acl cat:查看添加权限指令类别

  • acl whoami:查看当前用户

  • acl setuser username on >password ~cached:* +get:设置有用户名、密码、ACL 权限(只能 get)


监视器

MONITOR 命令,可以将客户端变为一个监视器,实时地接收并打印出服务器当前处理的命令请求的相关信息

// 实现原理
def MONITOR():
	// 打开客户端的监视器标志
	client.flags |= REDIS_MONITOR
        
  	// 将客户端添加到服务器状态的 redisServer.monitors链表的末尾
   	server.monitors.append(client)
  	// 向客户端返回 ok
	send_reply("OK")

服务器每次处理命令请求都会调用 replicationFeedMonitors 函数,函数将被处理的命令请求的相关信息发送给各个监视器

redis> MONITOR 
OK 
1378822099.421623 [0 127.0.0.1:56604] "PING" 
1378822105.089572 [0 127.0.0.1:56604] "SET" "msg" "hello world" 
1378822109.036925 [0 127.0.0.1:56604] "SET" "number" "123" 
1378822140.649496 (0 127.0.0.1:56604] "SADD" "fruits" "Apple" "Banana" "Cherry" 
1378822154.117160 [0 127.0.0.1:56604] "EXPIRE" "msg" "10086" 
1378822257.329412 [0 127.0.0.1:56604] "KEYS" "*" 
1378822258.690131 [0 127.0.0.1:56604] "DBSIZE" 

批处理

Redis 的管道 Pipeline 机制可以一次处理多条指令

  • Pipeline 中的多条命令非原子性,因为在向管道内添加命令时,其他客户端的发送的命令仍然在执行
  • 原生批命令(MSET 等)是服务端实现,而 Pipeline 需要服务端与客户端共同完成

使用 Pipeline 封装的命令数量不能太多,数据量过大会增加客户端的等待时间,造成网络阻塞,Jedis 中的 Pipeline 使用方式:

// 创建管道
Pipeline pipeline = jedis.pipelined();
for (int i = 1; i <= 100000; i++) {
    // 放入命令到管道
    pipeline.set("key_" + i, "value_" + i);
    if (i % 1000 == 0) {
        // 每放入1000条命令,批量执行
        pipeline.sync();
    }
}

集群下模式下,批处理命令的多个 key 必须落在一个插槽中,否则就会导致执行失败,N 条批处理命令的优化方式:

  • 串行命令:for 循环遍历,依次执行每个命令
  • 串行 slot:在客户端计算每个 key 的 slot,将 slot 一致的分为一组,每组都利用 Pipeline 批处理,串行执行各组命令
  • 并行 slot:在客户端计算每个 key 的 slot,将 slot 一致的分为一组,每组都利用 Pipeline 批处理,并行执行各组命令
  • hash_tag:将所有 key 设置相同的 hash_tag,则所有 key 的 slot 一定相同
耗时 优点 缺点
串行命令 N 次网络耗时 + N 次命令耗时 实现简单 耗时久
串行 slot m 次网络耗时 + N 次命令耗时,m = key 的 slot 个数 耗时较短 实现稍复杂
并行 slot 1 次网络耗时 + N 次命令耗时 耗时非常短 实现复杂
hash_tag 1 次网络耗时 + N 次命令耗时 耗时非常短、实现简单 容易出现数据倾斜