您现在的位置:爱折腾>> Linux>>正文内容

Apache Kafka使用与维护小记

由于项目的需要,使用了Kafka作为消息系统。项目开发与线上维护自然少不了,简单的记一下,开个头,方便总结。

Apache Kakfa 主页: https://kafka.apache.org
可直接上手的QuickStart:https://kafka.apache.org/documentation.html#quickstart

Kafka安装使用非常方便。启动Kafka前,需要首先启动Zookeeper。Kafka也已经内置了,当然这只是在开发时比较方便,线上系统还是要单独部署Zookeeper集群的。

1、启动Server

启动Zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
启动Kafka:
bin/kafka-server-start.sh config/server.properties

这样一个单节点的Kafka消息系统就跑起来了。

2、关于 Topic

创建Topic,名为 test(partition:分片,replica : 副本)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 Topic 列表:
bin/kafka-topics.sh --list --zookeeper localhost:2181

查看指定 Topic 的 Partition:
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

修改指定 Topic 的 Partition数量:
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --alter --partition 10

3、发消息

输入如下命令后,接下来就可以在shell里发送消息到Kafka啦:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4、启动一个Consumer

来试试消费数据吧:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

查看 Consumer 的消费位置信息

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test

相关文章