spring cloud stream 是如何分配kafka的partitions给不同的instance的

生产者设置分区

spring.cloud.stream.bindings.output.producer.partitionKeyExpression=payload
spring.cloud.stream.bindings.output.producer.partitionCount=2
  • spring.cloud.stream.bindings.output.producer.partitionKeyExpression：通过该参数指定了分区键的表达式规则，我们可以根据实际的输出消息规则来配置SpEL来生成合适的分区键，关于这个参数的作用详细看这里
  • spring.cloud.stream.bindings.output.producer.partitionCount：该参数指定了消息分区的数量

消费者设置分区

spring.cloud.stream.kafka.bindings.input.consumer.autoRebalanceEnabled=true

这个值默认就是true，多个实例会自动均衡，无需再配置instanceCount 和instanceIndex，当设置成false后，主要是通过consumer的4个参数来决定的:

spring.cloud.stream.bindings.input.consumer.partitioned=true
spring.cloud.stream.bindings.input.consumer.instanceCount =3
spring.cloud.stream.bindings.input.consumer.instanceIndex =0
spring.cloud.stream.bindings.input.consumer.concurrency  =1
  • instanceCount ：准备启动多少个实例
  • instanceIndex ：实例编号，从0开始到instanceCount -1
  • concurrency ：每个实例中启动多少个kafka consumer

参考：

版权声明：本文为qq_28807077原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。