消息队列
RabbitMQ安装
RabbitMQ常用命令
RabbitMQ集群
RabbitQM集群(docker)
kafka操作
kafka集群搭建
kafka配置问题
本文档使用MrDoc发布
返回首页
-
+
kafka操作
2023年3月30日 11:40
admin
##启动服务 运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper(PS:在kafka包里)。 #这是前台启动,启动以后,当前就无法进行其他操作(不推荐) ./zookeeper-server-start.sh ../config/zookeeper.properties #后台启动(推荐) ./zookeeper-server-start.sh ../config/zookeeper.properties &> /dev/null & 现在启动kafka #查看配置文件 /config/server1.properties: broker.id=0 listeners=PLAINTEXT://192.168.10.130:9092 log.dirs=kafka-logs zookeeper.connect=localhost:2181 #后台启动kafka ./kafka-server-start.sh ../config/server.properties &>/dev/null & ##创建一个主题 ./kafka-topics.sh --create --zookeeper localhost:2181 --config max.message.bytes=12800000 --config flush.messages=1 --replication-factor 1 --partitions 1 --topic test #命令解析: --create: #指定创建topic动作 --topic: #指定新建topic的名称 --zookeeper: #指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样 --config: #指定当前topic上有效的参数值,参数列表参考文档为: http://kafka.apache.org/082/documentation.html#brokerconfigs --partitions: #指定当前创建的kafka分区数量,默认为1个 --replication-factor: #指定每个分区的复制因子个数,默认1个 ####查看已创建的topic信息: ./kafka-topics.sh --list --zookeeper localhost:2181 ####查看对应topic的描述信息 ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test0 #命令解析: --describe: 指定是展示详细信息命令 --zookeeper: 指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样 --topic:指定需要展示数据的topic名称 ####Topic信息修改 bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --config max.message.bytes=128000 bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --delete-config max.message.bytes bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --partitions 10 bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --partitions 3 ## Kafka分区数量只允许增加,不允许减少 ####Topic删除 默认情况下Kafka的Topic是没法直接删除的,需要进行相关参数配置 bin/kafka-topics.sh --delete --topic test0 --zookeeper 192.168.187.146:2181 ##发送消息 ./kafka-console-producer.sh --broker-list 集群机IP:9092 --topic test >this is a message >this is another message //按`Ctrl+C`终止输入 #备注:这里的localhost:9092不是固定的,需要根据server.properties中配置的地址来写这里的地址! ##消费消息 ./kafka-console-consumer.sh --bootstrap-server 集群机IP:9092 --topic test --from-beginning this is a message this is another message //按`Ctrl+C`终止读取消息 #备注:这里的localhost:9092不是固定的,需要根据server.properties中配置的地址来写这里的地址!
分享到: