SYSTEM
增加健康检查,完整脚本路径
src/content/notes/blog-dev/Kafka部署.md 第 1 步:创建 docker-compose.yml
在 WSL Ubuntu 终端中,找个目录(比如 ~/docker/kafka/):
mkdir -p ~/docker/kafka && cd ~/docker/kafka
在 WSL Ubuntu 终端中执行:
ip route show default | awk '/default/ {print $3}'
创建 docker-compose.yml:使用Apache官方的Kafka镜像
cat > docker-compose.yml <<'EOF'
services:
kafka:
image: apache/kafka:3.8.0
container_name: blog-kafka
restart: unless-stopped
ports:
- "9092:9092"
environment:
KAFKA_CLUSTER_ID: "blog-kraft-cluster-001"
KAFKA_NODE_ID: 1
KAFKA_PROCESS_ROLES: broker,controller
KAFKA_CONTROLLER_QUORUM_VOTERS: 1@kafka:9093
KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
KAFKA_LISTENERS: PLAINTEXT_HOST://0.0.0.0:9092,PLAINTEXT://0.0.0.0:9094,CONTROLLER://0.0.0.0:9093
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT_HOST:PLAINTEXT,PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT_HOST://localhost:9092,PLAINTEXT://kafka:9094
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
volumes:
- kafka_data:/opt/kafka/data
kafka-ui:
image: provectuslabs/kafka-ui:latest
container_name: blog-kafka-ui
restart: unless-stopped
ports:
- "8081:8080"
environment:
KAFKA_CLUSTERS_0_NAME: blog-cluster
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9094
depends_on:
- kafka
volumes:
kafka_data:
EOF
或者:健康(kafka 业务就绪,kafka‑ui 此时才会启动)
cat > docker-compose.yml <<'EOF'
services:
kafka:
image: apache/kafka:3.8.0
container_name: blog-kafka
restart: unless-stopped
ports:
- "9092:9092"
environment:
KAFKA_CLUSTER_ID: "blog-kraft-cluster-001"
KAFKA_NODE_ID: 1
KAFKA_PROCESS_ROLES: broker,controller
KAFKA_CONTROLLER_QUORUM_VOTERS: 1@kafka:9093
KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
KAFKA_LISTENERS: PLAINTEXT_HOST://0.0.0.0:9092,PLAINTEXT://0.0.0.0:9094,CONTROLLER://0.0.0.0:9093
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT_HOST:PLAINTEXT,PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT_HOST://localhost:9092,PLAINTEXT://kafka:9094
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
volumes:
- kafka_data:/opt/kafka/data
# 增加健康检查,完整脚本路径
healthcheck:
test: ["CMD-SHELL","/opt/kafka/bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9094 --list"]
interval: 10s
timeout: 8s
retries: 12
kafka-ui:
image: provectuslabs/kafka-ui:latest
container_name: blog-kafka-ui
restart: unless-stopped
ports:
- "8081:8080"
environment:
KAFKA_CLUSTERS_0_NAME: blog-cluster
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9094
depends_on:
kafka:
condition: service_healthy
volumes:
kafka_data:
EOF
| 做法 | 表现 | 适用场景 |
|---|---|---|
| 不加healthcheck | compup 立刻完成,刚启动瞬间 UI 无集群,等待几十秒自愈 | 本地开发,省事,少写配置 |
| 加上 healthcheck | comp up 不会立刻完成,等待 kafka 业务就绪后才拉起 kafka‑ui,启动慢一点,打开页面直接可用 | 追求自动化、面试演示、生产环境 |
第 2 步:启动容器
# 1. 拉取镜像(首次需要几分钟)
docker compose pull
# 2. 启动(-d 后台运行)
docker compose up -d
# 3. 查看启动状态
docker compose ps
看到两个容器都是 Up 状态就成功了。
- 如果出错,有一个Restarting,确认yml配置问题就执行以下步骤:
- 覆盖 yml
- 彻底清理旧数据
docker compose down -v
3.启动
docker compose up -d
4.观察状态
docker compose ps
第 3 步:验证 Kafka 是否正常
3.1 进入 Kafka 容器
docker exec -it blog-kafka bash
3.2 创建 Topic
# 创建topic
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic test-topic \
--partitions 3 --replication-factor 1
3.3 查看 Topic 列表
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
3.4 发送消息(生产者)
# 运行生产者,终端会变成交互模式,输入消息回车发送
/opt/kafka/bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic
输入几行消息:
hello kafka
this is my first message
测试中文消息
按 Ctrl+C 退出生产者。
3.5 消费消息(消费者)
# --from-beginning 从最早的消息开始消费
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic test-topic --from-beginning
应该能看到刚才发送的三条消息。按 Ctrl+C 退出。
3.6 查看 Topic 详细信息
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test-topic
输出示例:
Topic: test-topic TopicId: xxx PartitionCount: 3 ReplicationFactor: 1
Topic: test-topic Partition: 0 Leader: 1 Replicas: 1 Isr: 1
Topic: test-topic Partition: 1 Leader: 1 Replicas: 1 Isr: 1
Topic: test-topic Partition: 2 Leader: 1 Replicas: 1 Isr: 1
3.7 退出容器
exit
第 4 步:访问 Kafka UI 管理界面
浏览器打开:http://localhost:8081
你会看到:
- 左侧菜单能看到
blog-cluster集群 - 点击 Topics 可以看到所有 Topic
- 支持在线查看消息、创建 Topic、查看消费者组等
关键配置说明
| 配置项 | 值 | 为什么 |
|---|---|---|
KAFKA_CFG_PROCESS_ROLES |
broker,controller |
KRaft 模式,单节点同时承担 Broker 和 Controller |
KAFKA_CFG_ADVERTISED_LISTENERS |
PLAINTEXT://localhost:9092 |
客户端连接时 Kafka 返回这个地址,Docker Desktop 已做端口映射 |
KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE |
false |
禁止自动创建 Topic,避免生产环境 Topic 满天飞 |
KAFKA_CFG_NUM_PARTITIONS |
3 |
默认 3 分区,兼顾并行度和单节点资源 |
为什么不用 ZooKeeper?
Kafka 3.3+ 正式支持 KRaft 模式,用自身 Raft 协议管理元数据,不再需要 ZooKeeper。生产环境的新部署都推荐 KRaft 模式,架构更简单、运维成本更低。
完成后你的 Docker Desktop 里会有 4 个容器:blog-redis、blog-rabbitmq、blog-kafka、blog-kafka-ui,统一管理。