一.安装kafka(单机版) 因为现在的kafka安装包都自带zookeeper,所以如果是安装本地单机版kafka,不需要额外去安装zookeeper,使用自带的就可以了. 1.下载kafka 2.4版本 kafka下载地址:http://kafka.apache.org/downloads.html # wget https://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgz # tar xf kafka_2.12-2.4.

博主最近在学习有关kafka的配置安装以及在spring的集成使用.但网上关于kafka的配置参考资料基本都是于linux下的配置,于是博主在整理了相关windows下kafka的配置记录在博客里.由于是简单配置所以在这里只建了一个topic以及一个producer和两个consumer. 关于kafka具体是什么以及他的设计原理使用场景等等请看上篇博客,转自大佬.传送门:http://www.cnblogs.com/wdfordream/p/7324975.html. 在官网上下载 zooke

Kafka单机Windows环境搭建 1,安装jdk1.8:安装目录不能有中文空格: 2,下载zookeeper,https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz 解压到D:\zookeeper-3.4.11之后,在conf目录下面重命名zoo_sample.cfg为zoo.cfg, 在zoo.cfg修改如下内容: dataDir=D:\\zookeeper-3.4.11\\dat

一.安装kafka    下载地址:http://kafka.apache.org/downloads 要下载Binary downloads这个类型,不要下载源文件,这种方便使用.下载后,解压放在D:\bigdata目录下. ①进入kafka配置文件所在目录,D:\bigdata\kafka_2.11-0.9.0.1\config ②编辑文件"server.properties",找到并编辑: log.dirs=/tmp/kafka-logs  to  log.dirs=D:/big

1.安装kafka(单机版) 1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads 1.2解压 tar 包 tar -zxvf kafka_2.11-2.0.0.tgz 解压后:kafka_2.11-2.0.0 1.3删除 LICENSE.NOTICE .site-docs rm -rf LICENSE NOTICE site-docs 1.4 1.4.1启动kafka单机版的命令(在启动kafka之前先启动zookeeper) kafka的libs文件夹中内

准备工作: 下载kafka http://apache.fayea.com/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz 解压kafka至D:\bigdata\kafka_2.10-0.10.0.0 下载instsrv.exe /srvany.exe 将instsrv.exe /srvany.exe 拷贝至 D:\bigdata\kafka_2.10-0.10.0.0\bin\windows 1.注册服务 以管理员身份打开cmd cd D:\bigdata\kaf

1,保证,安装好java环境,zookeeper,并且运行zookeeper. 2,下载kafka,并解压到磁盘 下载链接http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz 3,进入config目录,编辑 server.properties 文件 指定正确的host.name 和 log.dirs [修改成自己的ip和日志地址] 4,运行kafka 进入kafka目录执行 打开命令行窗口执行如下命令 .\bin\w

摘要:本文主要说明了如何在Windows安装运行Kafka 一.安装JDK 过程比较简单,这里不做说明. 最后打开cmd输入如下内容,表示安装成功 二.安装zooeleeper 下载安装包:http://zookeeper.apache.org/releases.html#download 下载后解压到一个目录: 1.进入Zookeeper设置目录,笔者D:\Java\Tool\zookeeper-3.4.6\conf2. 将“zoo_sample.cfg”重命名为“zoo.cfg”3. 在任意

一.配置 1.Java配置:JAVA_HOME路径不要有空格 2.下载/kafka_2.11-1.1.0,地址是https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz,并解压缩至C:\1000_Study\3000_Java\kafka_2.11-1.1.0 3.配置kafka的path环境 二.命令行测试 cd C:\1000_Study\3000_Java\kafka_2.11-1.1.0 bi

Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统.低延迟的实时系统.storm/Spark流式处理引擎,web/nginx日志.访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目.具体理论性的内容我也不是特别懂,这里有一篇

使用版本:kafka_2.10-0.8.1.1 安装: -0.8.1.1.tgz -C ~/app/ 添加环境变量:.bash_profile export KAFKA_HOME=/home/spark/app/kafka_2.-0.8.1.1 export PATH=.:$KAFKA_HOME/bin:...... kafka配置文件: config/server.properties broker.id=0   #唯一,自己指定,不重复即可 host.name=localhost   #ho

一.环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/redhat-release查询 2.软件版本 Kafka版本为:0.10.0.0 二.详细安装步骤 1.下载kafka_2.10-0.10.0.0.tgz到/data/soft目录 2.将kafka_2.10-0.10.0.0.tgz解压到/data/app/Kafka目录 tar –xzf kafka_2.10-0.10.0.0.tgz –C /d

https://blog.csdn.net/u010283894/article/details/77106159 kafka 创建消费者报错 consumer zookeeper is not a recognized option 在做kafka测试的时候,使用命令bin/kafka-console-consumer.sh --zookeeper 192.168.0.140:2181,192.168.0.141:2181 --topic test --from-beginning启动消费者,

完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击"我的电脑" -> "高级系统设置" -> "环境变量" 1.2 查看

Windows OS上安装运行Apache Kafka教程 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper. Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作.更多信息请参见http://kafka.apache.org.由于 Zookeep

完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击“我的电脑” -> "高级系统设置" -> "环境变量"  1.2 查看CLASSPATH

在这篇文章中,我将要介绍如何搭建和使用Apache Kafka在windows环境.在开始之前,简要介绍一下Kafka,然后再进行实践. Apache Kafka Kafka是分布式的发布-订阅消息的解决方案.相比于传统的消息系统,Kafka快速,可扩展,耐用.想象一下传统的发布-订阅消息系统,producers产生/写消息到topic中,另一边,consumers从topic中消费/读消息.Kafka的topic可以在多个服务器之间分区(partition)和复制(replicate). 可以

net windows Kafka 安装与使用入门(入门笔记) 完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击"我的电脑" -> "高级系统设置&quo

原文:http://blog.csdn.net/jingshuigg/article/details/25001979 一.对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试 服务器端IP :10.0.30.221 运行环境的目录如下: 需要改动config文件夹下的server.properties中的以下两个属性 zookeeper.connect=localhost:2181改成zookeeper.connect=00.00.00.01 (IP地址):2181 以及默认注

完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击“我的电脑” -> "高级系统设置" -> "环境变量"  1.2 查看CLASSPATH

1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ): JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(这个是默认安装