原文地址:https://kafka.apache.org/documentation.html#semantics 1.开始 1.1 引言 Kafka是一个分布式,分区队列,冗余备份的消息存储服务.它是一个有独特设计的消息系统. 这是什么意思呢? 首先我们介绍下相关的基本通信概念: 1.Kafka按主题分布消息. 2.生产者发布消息给Kafka主题. 3.消费者订阅并处理被提供的发布出的信息. 4.Kafka作为由一个或多个中介服务的集群运行. 然后,深入一些,生产者通过网络发送消息给用于提供…

1.2 用例 以下是一些Kafka 常见的用例.关于功能方面的一些概念,可以看这篇博客:http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying. 消息 Kafka 可以很好的替代传统的消息代理.消息代理的使用有很多原因.(将数据发布解耦,缓存未处理消息等等).相比于大多数消息系统,Kafka 有更大…

来自:http://www.inter12.org/archives/842 一 BROKER 的全局配置 最为核心的三个配置 broker.id.log.dir.zookeeper.connect . ------------------------------------------- 系统 相关 ------------------------------------------- ##每一个broker在集群中的唯一标示,要求是正数.在改变IP地址,不改变broker.id的话不会影响c…

Kafka 技术文档   目录 1 Kafka创建背景 2 Kafka简介 3 Kafka好处 3.1 解耦 3.2 冗余 3.3 扩展性 3.4 灵活性 & 峰值处理能力 3.5 可恢复性 3.6 顺序保证 3.7 缓冲 3.8 异步通信 4 Kafka架构 4.1 producer 4.1.1 定义 4.1.2 负载均衡和HA(High Available)机制 4.1.3 Producer均衡算法 4.1.4 异步发送 4.2 Broker 4.3 Topic和Partition 4.3.…

单机Kafka部署文档 最简单的使用方式,单机,使用自带的zookeeper 1.解压 下载地址:http://pan.baidu.com/s/1i4K2pXr tar –zxvf kafka_2.10-0.10.0.1.tgz 2.修改配置 vim config/server.properties 修改项如下(有则修改,无则添加): host.name=你的ip listeners=PLAINTEXT://你的ip:9092 advertised.listeners=PLAINTEXT://你…

kafka集群搭建文档 一. 下载解压 从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html 注意这里最好下载scala2.10版本的kafka,因为scala2.10版本的兼容性比较好和2.11版本差别太大 通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压 二．配置启动 配置config/server.properties 配置broker.id从0开始,后面其他节点配置1,2,3,4等等 事先启动zookee…

生成kafka内部请求与响应的接口文档 /** */ package com.code260.ss.kafka10demo; import java.io.File; import java.io.IOException; import java.lang.reflect.InvocationTargetException; import java.net.URL; import java.net.URLDecoder; import java.util.ArrayList; import ja…

引言 在石墨文档的部分业务中,例如文档分享.评论.幻灯片演示和文档表格跟随等场景,涉及到多客户端数据同步和服务端批量数据推送的需求,一般的 HTTP 协议无法满足服务端主动 Push 数据的场景,因此选择采用 WebSocket 方案进行业务开发. 随着石墨文档业务发展,目前日连接峰值已达百万量级,日益增长的用户连接数和不符合目前量级的架构设计导致了内存和 CPU 使用量急剧增长,因此我们考虑对网关进行重构. 网关 1.0 网关 1.0 是使用 Node.js 基于 Socket.IO 进行修改…

Markdown文件 注意︰这是简体中国版文档的Markdown语法.如果你正在寻找英语版文档.请参阅Markdown︰ Markdown: Syntax. Markdown: Syntax 概述 哲学 行内 HTML 特殊字符自动转换 区块元素 段落和换行 标题 区块引言 清单 程序代码区块 分隔线 区段元素 连结 强调 程序代码 图片 其他 跳脱字符 自动连结 感谢 注意:这份文件是用Markdown写的,你可以看看它的原始档 . 概述 哲学 Markdown的目标是实现「易读易写」. 不过…

linkedin开源的kafka-monitor安装文档 linkedin 开源的kafka-monitor的安装使用可以参考官方的readme:流程介绍的已经比较清楚,但是还是有一些地方需要修正.让大家可以少填一些坑. 前提条件 Kafka Monitor 需要 Gradle 2.0 或者更高版本. 编译和执行都需要在java8环境下. 下载源码 $ git clone https://github.com/linkedin/kafka-monitor.git $ cd kafka-monit…