• Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点:

  高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

  持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

  分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

核心:

  Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

  Topic:主题,Kafka处理的消息的不同分类。

  Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

  Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

  Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

  Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

  • 安装配置

kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址:

  zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

  kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

安装:

  zookeeper:

    1.下载解压(以C:\zookeeper3.4为例),将C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名为zoo.cfg

    2.打开zoo.cfg,编辑dataDir=c:\\zookeeper3.4\\temp

      

    3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%\bin;”

      

      

    4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

      

      

  kafka:

    1.下载解压(以C:\kafka2.12为例),打开c:\kafka2.12\config\server.properties,编辑log.dirs=c:\\kafka2.12\\kafka-logs, zookeeper.connect=localhost:2181

    2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上双引号

      

    3.打开cmd窗口,进入kafka根目录下,输入 .\bin\windows\kafka-server-start.bat .\config\server.properties 运行

      

至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

kafka介绍及安装配置(windows)的更多相关文章

  1. Kafka 安装配置 windows 下

    Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOM ...

  2. kudu介绍及安装配置

    kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity har ...

  3. (Linux环境Kafka集群安装配置及常用命令

    Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 ...

  4. MySQL介绍,下载,安装,配置

    MySQL用了很多年了,今天写个总结. 一.介绍 MySQL是开源软件,后来归Oracle所有.开源便于软件的完善改进.但开源不等于滥用,也不等于完全免费.MySQL有商业版,商业用途是付费的.也有免 ...

  5. Kafka介绍及安装部署

    本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluste ...

  6. 在Hyper-V上安装配置Windows负载均衡NLB

    搭建过程 Hyper-V 是自Windows Server2008 以来提供的虚拟机管理软件,它操作简便,功能也不错,可以方便的在它里面安装各种操作系统,如图所示: 现在,想利用这几台虚拟服务器搭建一 ...

  7. Git介绍及安装配置

    一.概述 1.1git概念 Git是一个开源的分布式版本控制系统,用于敏捷高效处理任意规模的项目,其作者为Linux创造者Linus Torvalds为管理Linux内核而开放的一个开源的版本控制柔软 ...

  8. 安装配置Windows Live Writer做为博客客户端

    前言: 国内好些空间.博客是支持Windows Live Writer客户端的,也就是说使用Windows Live Writer不用登陆博客网站,就可以向不同的博客网站发布博客了. Windows ...

  9. MongoDB4.0.0的安装配置—windows

    一.背景 由于要学习MongoDB,所以就下载了最新的MongoDB 的Community Server版的4.0.0版本.可能是新的版本的缘故,在安装配置上与MongoDB3有许多不同,而且在3中的 ...

随机推荐

  1. 图像滤镜艺术---Wave滤镜

    原文:图像滤镜艺术---Wave滤镜 Wave Filter水波滤镜 水波滤镜是通过坐标变换来模拟水波效果,使图像呈现出水波的特效.这个滤镜有一个可调参数:水波的扭曲程度. 代码如下; //     ...

  2. AFN小结(简单的封装)

    AFN小结 1,AFN概念.原理 2,AFN的封装使用 3,AFN与其它框架对比 ————————————————————————————————— 1 , AFN的概念原理: AFN的基础是NSUR ...

  3. LINQ查询表达式---------into

    LINQ查询表达式---------into into 上下文关键字创建一个临时标识符,以便将 group.join 或 select 子句的结果存储到新的标识符 class Program { pu ...

  4. SGI地址模式: O32, N32和N64

    背景 MIPS R10000芯片支持MIPS ABI.遵循这一标准的程序能够运行在遵循这一标准的任何处理器/系统上.目前,主要的支持者有SGI,西门子,Nixdof, Tandem, Pyramid, ...

  5. NSmutableArray 的实现原理机制

    古老的C数组: 优点:查询速度很快,直接通过下表找到对应的值 缺点:修改.删除数据很慢,需要移动基于所有的其他的元素   插入和删除一个元素,需要移动后面所有的元素 改进的目标:实现快速增加,删除 N ...

  6. Gps坐标有效性判定

    百科:纬度 是指某点与地球球心的连线和地球赤道面所成的线面角,其数值在0至90度之间.位于赤道以北的点的纬度叫北纬,记为N:位于赤道以南的点的纬度称南纬,记为S. var regex = new Re ...

  7. Codility--- TapeEquilibrium

    Task description A non-empty zero-indexed array A consisting of N integers is given. Array A represe ...

  8. 安装使用Cloudera Impala

    安装与使用Cloudera Impala Cloudera Impala提供快速的.交互式的SQL查询方式,直接基于Apache Hadoop存储在HDFS或HBase中的数据进行查询.除了使用与Ap ...

  9. SYN4102型 GPS同步时钟

    SYN4102型  GPS同步时钟 产品概述 SYN4102型GPS同步时钟是由西安同步电子科技有限公司精心设计.自行研发生产的一款高精度锁相时钟频率源,接收GPS信号,使恒温晶振输出频率同步于GPS ...

  10. 3014C语言_运算符

    第四章 运算符 4.1 分类 C语言的运算符范围很广,可分为以下几类: 1.算术运算符:用于各类数值运算.包括加(+).减(-).乘(*).除(/).求余(%).自增(++).自减(--)共七种. 2 ...