这一页提供了关于流处理的背景知识,描述什么是Samza,以及它为何而生. what is messaging?什么叫消息? 消息系统是用来实现近实时异步计算的一种流行方式.当事件发生时,消息可以被放在消息队列里(ActiveMQ, RabbitMQ),发布-订阅系统(Kestrel, Kafka)里,或者日志汇集系统(Flume,Scribe)里.下游的消费者从这些系统里读消息,进行处理,或者根据消息内容采取行动.   假如你有一个网站,并且每次有人加载一个网页,就发送发一个"用户查看了页面&q…

http://samza.incubator.apache.org/learn/documentation/0.7.0/comparisons/introduction.html 这里有一些使得Samza和其它流处理项目不同的高层设计决策. The Stream Model 流模型 流是Samza job的输入和输出.Samza有非常强的流模械型——不仅是一个简单的消息交换系统.Samza中的stream是一个分区的.每个分区有序的.可重放的.多订阅者的,无损的消息序列.(A stream in…

http://samza.incubator.apache.org/learn/documentation/0.7.0/introduction/architecture.html Samza由三层组成: A streaming layer 消息流层 An execution layer 执行层 A processing layer 处理层 Samza自身提供了对所有三个层的支持: Streaming : Kafka Execution: YARN Processing: Samza API 这…

此页介绍啊Samza的一些高层级概念. Streams Samza处理Streams(流).流由同一类型的不可变的消息组成.例如,一个流可以是对一个网站的所有点击,或者对一个数据库表的所有更新,或者一个服务产生的所有日志,或者其它类型的消息数据.消息可以被追加到一个流上或者从一个流读出来.一个流可以有任意数量的消费者,并且从一个流读消息并不会把消息从其中删除(所有每息都可以有效地广播到其它消费者).消息可以有选择地拥有一个相关连的key用做分区partitioning,分区的问题接下来会提到.…

感兴趣的同学可以关注这个翻译项目 . 我的博客原文 和 我的Github 前段时间翻译的Spring MVC官方文档完成了第一稿,相关的文章和仓库可以点击以下链接.这篇文章,主要是总结一下这个翻译项目自开始到上线发布,完整的一个生命流程.内容包括 翻译环境搭建 .项目管理 与 自动化构建 三部分. 博客首页声明:Spring MVC官方文档翻译稿发布 托管在七牛上的翻译文档 Github仓库 环境搭建 翻译与写作一样,首要之事均为专注于翻译/写作本身,而不考虑样式等方面.而章节之间的联系,自然也…

Hibernate 3.3.2 文档翻译 翻译人:微冷的雨 第一次书写:2015年11月29日 本人呕心沥血之作,请细心阅读领悟! Day01-1.1 项目描述 微冷的雨翻译:例如,我们将要建立一个可以存储我们关注的events(注:实体集合)和相关信息的小型数据库应用. 注意(Tip):虽然你可以使用任何你感觉合适的数据库,我们将使用HSQLDB(内存级别)这款数据库,以避免对数据库服务器的安装. Day01-1.1.1 项目构建 微冷的雨翻译:我们的首要工作是搭建开发环境.我们将使用我们提倡…

Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(二) Flume Properties Property Name            Default  Description flume.called.from.service – If this property is specified then the…

Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Logging raw data(记录原始数据) Logging the raw stream of data flowing through the ingest pipeline is not desired behaviour in many production environments because this may result in leaking sensit…

许多分布式计算系统都可以实时或接近实时地处理大数据流.本文将对三种Apache框架分别进行简单介绍,然后尝试快速.高度概述其异同. Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology).这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行.一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去:而bolt…

SQLAlchemy 中文文档翻译计划已启动. Python 文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质.交流群:467338606. 希望大家能够勇敢地去翻译和改进翻译.虽然我们追求卓越,但我们并不要求您做到十全十美,因此请不要担心因为翻译上犯错--在大部分情况下,我们的服务器已经记录所有的翻译,因此您不必担心会因为您的失误遭到无法挽回的破坏. 此外,Django 中文文档翻译计划已进行了一年,大部分翻译已完成.感谢大家的贡献以及一如既往地支持.…