学习kafka知识点总结

kafka的大致框架图

kafka的特点

​ 1、poll模式，消息消费的速度是由下游消费者（实时计算框架来实现）来决定

​ 2、kafka提供了消费的持久化机制，无论消费者是否消费，都会存储，而且通过副本冗余机制提供数据的容错性，数据缓冲作用。

启动zk

zkServer.sh start

启动kafka

kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

创建一个topic

kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic1

获取所有的topic

kafka-topics.sh --list --zookeeper master:2181,node1:2181,node2:2181

查看topic信息：

kafka-topics.sh --describe --zookeeper master:2181,node1:2181,node2:2181 --topic test_topic1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RcfOv1qd-1651414517886)(C:\Users\stu\AppData\Roaming\Typora\typora-user-images\image-20220412160228086.png)]

创建控制台生产者

kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic test_topic1

创建控制台消费者

kafka-console-consumer.sh --bootstrap-server master:9092,node1:9092:node2:9092 --from-beginning --topic test_topic1

删除一个topic

kafka-topics.sh --delete --zookeeper master:2181,node1:2181,node2:2181 --topic flume