Kafka是用于日志处理的分布式消息队列,Kafka使用scala语言开发的. 各个开源分布式处理系统Cloudera.Apache Storm.Spark都支持与Kafka集成.其日志处理的一个场景:Kafka采集日志以后,经过spark分布式计算,将日志数据导入到HBase中.Kafka采集的日志主要包括用户行为及系统运行日志等.在大数据领域中,Spark.Akka.Kafka都是用Scala语言开发的,因此凸显了scala语言的巨大价值.…

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对 kafka做一些功能性增强,并java化,虽然现在已经有很多这样的版本,但是根据实际需求来改变才是最适合的. 首先当然推荐的是kafka的官网 http://kafka.apache.org/ 在官网最值得参考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是参照这里的…

终于可以写kafka的文章了,Mina的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到.从这一篇开始分布式消息系统的入门. 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: l  我想分析一下用户行为(pageviews),以便我能设计出更好的广告位 l  我想对用户的搜索关键词进行统计,分析出当前的流行趋势.这个很有意思,在经济学上有个长裙理论,就是说,如果长裙的销量高了,说明经济不景气了,因为姑娘们没钱买各种丝袜了. l  有些数据,我觉得存数据库…

终于可以写kafka的文章了,Mina的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到.从这一篇开始分布式消息系统的入门. 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: l  我想分析一下用户行为(pageviews),以便我能设计出更好的广告位 l  我想对用户的搜索关键词进行统计,分析出当前的流行趋势.这个很有意思,在经济学上有个长裙理论,就是说,如果长裙的销量高了,说明经济不景气了,因为姑娘们没钱买各种丝袜了. l  有些数据,我觉得存数据库…

Kafka 被称为“分布式提交日志”或“分布式流平台” 文件系统或数据库提交日志用来提供所有事务的持久记录,通过重放这些日志重建系统状态,同时Kafka数据是按照一定顺序持久化保存的,可以按需读取 Kafka数据分布在整个系统里,具有数据保障和性能伸缩能力 Kafka数据单元称为消息,类似于数据库里的行,消息由字节数组组成,里边的数据没有特殊含义:消息有一个可选的元数据----键(字节数组),当消息以一种 可控的方式写入不同分区时,会用到键,保证相同键的消息总是写到相同的分区上 为提高效率,Ka…

消息系统 什么是消息系统? 消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它.分布式消息传递给予可靠消息队列的概念.消息在客户端应用程序和消息传递系统之间异步排队. 有俩种类型的消息模式可以使用:一种是点对点,另一种是发布-订阅(pub-sub)消息系统. 大多数消息模式遵循pub-sub 点对点消息系统 点对点系统中,消息被保留在队列中.一个或多个消费者可以消费队列中的消息,但是特定消息只能由最多一个消费者消费.一旦消费者读取队列中的消息,它…

前期博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解) 基于Web的Kafka管理器工具之Kafka-manager启动时出现Exception in thread "main" java.lang.UnsupportedClassVersionError错误解决办法(图文详解) 然后 第一次进入web UI要进行kafka cluster的配置,都是一些比较简单的操作. 配置集群 点击[…

简介 最近开发的项目中,kafka用的比较多,为了方便梳理,从今天起准备记录一些关于kafka的文章,首先,当然是如何安装kafka了. Apache Kafka是分布式发布-订阅消息系统. Apache Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易于向外扩展: 它同时为发布和订阅提供高吞吐量: 它支持多订阅者,当失败时能自动平衡消费者: 它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序. 安装 kafka 下载地址:http://mirrors…

前言 项目中用到了Kafka 这种分布式消息队列来处理日志,本文将对Kafka的基本概念和原理做一些简要阐释 Kafka 的基本概念 官网解释: Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目. 消息处理方式有点对点,发布-订阅模式,Kafka就是一种发布-订阅…

前言:       上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线==================================================================== 正文: 关于Kafka…