Kafka(10)集群消息的发送和消费

一:集群消息的发送


./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

实际操作

[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic
>


在这里插入图片描述

二:集群消息的消费(不带消费组)

 ./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

实际操作

[root@localhost bin]#  ./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

在这里插入图片描述

三:集群消息的消费(指定消费组)

./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094  --consumer-property group.id=testGroup1  --topic my-replicated-topic

这个与之前的消费是差不多的,这里便步一一叙述了;

四:分区消费组集群消费者细节

在这里插入图片描述

图例解释:

  1. 一个topic有四个分区
  2. 一个partition最多只能被一个消费组里面的一个消费者消费(单播消息)
  3. 图中Kafka集群有两个broker,每个broker中有多个partition。一个partition只能被一个消费组里的某一个消费者消费,从而保证消费顺序Kafka只在partition的范围内保证消息消费的局部顺序性,不能在同一个topic中的多个partition中保证总的消费顺序性一个消费者可以消费多个partition
  4. 消费组中消费者的数量不能比一个topic中的partition数量多﹐否则多出来的消费消费不到消息。一个消费者可以消费多个partition

    多的consumer是可以创建出来的,其有的作用仅仅是:如果其他consumer挂了,可以使用这个新的去替换它

其他:

  1. 一个partition只能被一个消费组中的一个消费者消费,目的是为了保证消费的顺序性,但是多个partion的多个消费者消费的总的顺序性是得不到保证的,那怎么做到消费的总顺序性呢?
  2. partition的数量决定了消费组中消费者的数量,建议同一个消费组中消费者的数量不要超过partition的数量,否则多的消费者消费不到消息
  3. 如果消费者挂了,那么会触发rebalance机制(后面介绍),会让其他消费者来消费该分区

版权声明:本文为yyuggjggg原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。