最近思路有些枯竭,找些务虚的话题来凑.本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲.顺便提一句,Kelppmann是<Designing Data-Intensive Applications>的作者.提起DDIA的大名想必各位应该是有所耳闻的. Apache Kafka是数据库吗?你可能会觉得奇怪,Kafka怎么可能是数据库呢?它没有schema,也没有表,更没有索引.它仅仅是生产消息流.消费消息流而已.从这个角度来说Kafka的确不像数据库,至少…

http://www.iteblog.com/archives/1084 Kafka Web Console是一款开源的系统,源码的地址在https://github.com/claudemamo/kafka-web-console中.Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka.这个系统的功能和KafkaOffsetMonitor很类似,但是我们从源码角度来看,这款系统实现比KafkaOffsetMonitor要复杂很多,而且…

http://www.infoq.com/cn/articles/kafka-analysis-part-1 Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成.InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计.实现.应用场景.性能等方面深度解析Kafka. 背景介绍 Kafka创建背…

近来,有许多关于“流处理”和“事件数据”的讨论,它们往往都与像Kafka.Storm或Samza这样的技术相关.但并不是每个人都知道如何将这种技术引入他们自己的技术栈.于是,Confluent联合创始人Jay Kreps发布了<流数据平台构建实战指南>.他结合自己过去五年中在LinkedIn构建Apache Kafka的经验,介绍了如何构建一个公司范围的实时流数据中心. 他们将该实时流数据中心称为流数据平台,其出现主要是由于需要: 在关系型OLTP数据库.Hadoop.Teradata.搜索系…

Apache Kafka可以帮助你解决在发布/订阅架构中遇到消费数百万消息的问题.如今,商业应用.社交应用以及其它类型的应用产生的实时信息在不断增长,这些信息需要以简单的方式快速.可靠地路由到各种类型的接收者.在大多数情况下,产生信息和消费信息的应用都是自然分开的,彼此不可互相访问.需要一种机制,让信息的生产者和消费者能无缝地集成.在大数据时代,收集数据也是一个挑战——因为数据量太大.第二个挑战是分析数据,它通常分为:1)用户行为数据2)应用程序性能跟踪3)日志形式的活动数据4)事件消息 消息订…

Kafka Web Console:是一款开源的系统,源码的地址在https://github.com/claudemamo/kafka-web-console中.Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka.这个系统的功能和KafkaOffsetMonitor很类似,但是我们从源码角度来看,这款系统实现比KafkaOffsetMonitor要复杂很多,而且编译配置比KafkaOffsetMonitor较麻烦. 要想运行这套系统…

KSQL是基于Kafka的Streams API进行构建的流式SQL引擎,KSQL降低了进入流处理的门槛,提供了一个简单的.完全交互式的SQL接口,用于处理Kafka的数据. KSQL是一套基于Apache 2.0许可开源的.分布式的.可扩展的.可靠的和实时的组件.支持多种流式操作,包括聚合(aggregate).连接(join).时间窗口(window).会话(session)等等.KSQL的两个核心概念是流(Stream)和表(Table)[参见:http://www.cnblogs.com…

https://content.pivotal.io/rabbitmq/understanding-when-to-use-rabbitmq-or-apache-kafka RabbitMQ: Erlang Apache Kafka:Scala https://content.pivotal.io/rabbitmq/understanding-when-to-use-rabbitmq-or-apache-kafka 来自谷歌翻译 了解何时使用RabbitMQ或Apache Kafka 2017年…

前言:最近公司开始要研究大数据的消息记录,于是开始研究kafka. 市面上kafka的书很少,有的也版本比较落后,于是仗着自己英文还不错,上官网直接学习. ^_^ 1. 开始 - 基本概念 学习一样东西,我们首先要知道它是什么. 那么kafka是什么呢? 照官网的解释: Apache Kafka™ is a distributed streaming platform. (Kafka是一个分布式的流式数据平台.) 照着官网的解释,kafka拥有以下3项主要能力: 1) 能够在流记录上进行发布和订…

今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细.该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https://www.confluent.io/blog/optimizing-apache-kafka-deployment/ ========================================== Apache Kafka是当前最好的企业级流式处理平台.把你的应用程序链接到Kafka集群,剩下…