单机 搭建kafka集群 本地_kafka教程-安装部署kafka_2.13-2.6.0(windows单机)

下载

本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号

zookeeper

kafka依赖zookeeper

kafka内置了zookeeper,在 kafka_2.13-2.6.0\libs 目录下有zookeeper的jar包。

但一般不用内置的

kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本

查看方式:

安装、启动

安装kafka

解压缩即可

配置kafka

kafka配置文件较多,在 kafka_2.13-2.6.0目录\config 目录下

server.properties:kafka服务配置文件

consumer.properties:消费者配置文件,用于命令操作,测试

producer.properties:生产者配置文件,用于命令操作,测试

zookeeper.properties:内置zookeeper配置文件,一般不用内置的

修改server.properties

kafka服务配置文件

修改broker id# kafka集群中broker的id,必须是整数,且broker之间唯一

broker.id=0

配置数据文件夹

在 kafka_2.13-2.6.0目录目录下创建 logs 文件夹

修改配置如下:

# kafka数据文件

log.dirs=D:\\devtools\\kafka_2.13-2.6.0\\logs

这里名字是 log.dir 其实不是日志,是数据文件

配置zookeeper

将zookeeper服务器ip、端口号配置在下面

zookeeper.connect=localhost:2181

配置kafka端口号

默认是9092

#listeners=PLAINTEXT://:9092

其他配置#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘 IO 的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#topic 在当前 broker 上的分区个数

num.partitions=1

#用来恢复和清理 data 下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment 文件保留的最长时间,超时将被删除

log.retention.hours=168

启动程序

windows启动程序在 kafka_2.13-2.6.0\bin\windows 目录下

kafka-server-start.bat:启动kafka服务

kafka-server-stop.bat:关闭kafka服务

kafka-topics.bat:操作topic

kafka-console-consumer.bat:控制台操作消费者

kafka-console-producer.bat:控制台操作生产者

启动kafka

需要先启动 zookeeper

在 kafka_2.13-2.6.0 目录下,按下图操作:

打开 Powershell 或 cmd ,执行下面命令:

.\bin\windows\kafka-server-start.bat .\config\server.properties

看到下面界面表示启动成功:

关闭kafka.\bin\windows\kafka-server-stop.bat .\config\server.properties

查看zookeeper

启动zookeeper客户端,查看节点:

ls /

结果如下:


版权声明:本文为weixin_31154627原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。