IT业的小白,最近用了消息对了,研究了下kafka,并且研究了在kafka基础上进行了二次开发的淘宝rocketMQ,打算写下安装与配置环境,和初级demo。有用过的大家一起交流。这个过程参考了frankHui博客里的的安装配置过程。
kafka0.8版本比0.7版本增加了一些功能,先说下0.7版本的单点搭建和配置。
kafka的搭建需要zookeeper的支持,所以如果你的服务器还没有安装zookeeper,请先安装。
1.去apache官网把kafka7.0版本down下来。这个过程就不详细说了,百度下kafka就能找到下载地址。将下载下来的kafka上传到linux上,并解压。
命令tar -zxvf 文件名。
2. 接下来就是下载kafka的依赖包和构建kafka的环境。注意,这一步需要服务器可以上网。具体命令就是在kafka解压后的一级目录下,执行两个命令,分别是
命令 ./sbt update
命令 ./sbt package。
上面的步骤都执行完了,环境算是好了,下面我们要测试下是否能成功运行kafka:
3.启动zookeeper server:
./bin/zookeeper-server start.sh ../config/zookeeper.properties &
(用&是为了能退出命令行)
4.启动kafka server:
./bin/kafka-server-start.sh ../config/server.properties &
5. Kafka为我们提供了一个console来做连通性测试,下面我们先运行producer:
./bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test
这是相当于开启了一个producer的命令行。命令行的参数我们一会儿再解释。
6.接下来运行consumer,新启一个terminal:
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
7.执行完consumer的命令后,你可以在producer的terminal中输入信息,马上在consumer的terminal中就会出现你输的信息。有点儿像一个通信客户端。
如果你能看到7执行了,说明你单机版部署成功了。下面解释下两条命令中参数的意思。--zookeeper localhost:2181 这个说明了去连本机2181端口的zookeeper server,--topic test,在kafka里,消息按topic来区分,我们这里的topic叫test,所以不管是consumer还是producer都指向了test。
这样kafka7.0的单点安装已经结束。集群安装和单点相似。具体过程如下:
我们还是按照那kafka单点配置的几个步骤来做。我们假设server1的IP是192.168.10.11 server2的IP是192.168.10.10:
1.在server1上启动zookeeper server :
./bin/zookeeper-server-start.sh ../config/zookeeper.properties &
(用&是为了能退出命令行)
2.在server2上启动kafka服务:
./ bin/kafka-server-start.sh ../config/server.properties &
3.修改kafka配置文件在server1上找到kafka的config目录,目前本机的目录地址为:/application/search/kafkatest/kafka-0.7.2-incubating-src/config。找到server.properties文件,找到一行“hostname=“。
在等号后边加上启动了KAFKA服务的机器的ip,即192.168.10.11
4.server1上启动producer服务
./bin/kafka-console-producer.sh --zookeeper 192.168.10.11:2181 --topic test
5.运行consumer,
在server1上启动一个consumer
./ bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning
在server2启动一个consumer
./ bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning
6.运行完consumer的命令后,你可以在producer的terminal中输入信息,马上在两个consumer的terminal中就会出现你输的信息。
分享到:
相关推荐
kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/
docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化
kafka分布式集群搭建
kafka搭建单机windows_单机linux_集群linux操作手册,亲自操作编写,无任何坑。。。
kafka环境搭建(单机+集群) 详细,以及redis在虚拟机上的安装。
本文档详细描述了如何在linux中搭建kafka集群,适合初中级程序员和运维同事,欢迎下载,我已经按照教程完整的搭建过一遍了,亲测有效
搭建基于sasl的安全认证的kafka集群,并配置acl,使用户能分权分域接受发送消息
kafka集群的搭建,与使用。详细描述了 卡夫卡中 consumer produer brolers partion 之间的调度关系
搭建kafka集群详细教程搭建kafka集群详细教程搭建kafka集群详细教程
docker容器中搭建kafka集群环境
本文档介绍了kafka的基础理论知识、集群的搭建流程、kafka的配置选项、kafka的API,对于使用kafka的人来说是一份很不错的文档
zookeeper linux 搭建流程,zookeeper linux 搭建流程zookeeper linux 搭建流程zookeeper linux 搭建流程。
kafka集群zookeeper集群整合配置 本人亲自验证
kafka集群 zookeeper集群 配置文件
hadoop与spark分布式安装
kafka在windows及linux环境中的搭建以及详细命令 kafka在windows及linux环境中的搭建以及详细命令
网上Kafka集群搭建的教程很多了,但真正能用的不多,本文提供了详细的步骤说明,绝对可用
kafka单机和集群的搭建步骤,都是亲测有效;还有kafka监控工具附带,亲测有效,需要自取哟,不懂私聊
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。 注意事项:请严格按照文档操作,作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址,有hadoop+zookeeper+...
linux环境下kafka配置文档及安装包,运行环境:CentOS6.5,JDK1.7,Zookeeper-3.4.5,Kafka_2.10-0.10.0.0