Samza文档翻译 : Concepts

【Samza文档翻译 : Concepts】的更多相关文章

Samza文档翻译 : Concepts

此页介绍啊Samza的一些高层级概念. Streams Samza处理Streams(流).流由同一类型的不可变的消息组成.例如,一个流可以是对一个网站的所有点击,或者对一个数据库表的所有更新,或者一个服务产生的所有日志,或者其它类型的消息数据.消息可以被追加到一个流上或者从一个流读出来.一个流可以有任意数量的消费者,并且从一个流读消息并不会把消息从其中删除(所有每息都可以有效地广播到其它消费者).消息可以有选择地拥有一个相关连的key用做分区partitioning,分区的问题接下来会提到.…

Samza文档翻译 : Comparison Introduction

http://samza.incubator.apache.org/learn/documentation/0.7.0/comparisons/introduction.html 这里有一些使得Samza和其它流处理项目不同的高层设计决策. The Stream Model 流模型流是Samza job的输入和输出.Samza有非常强的流模械型——不仅是一个简单的消息交换系统.Samza中的stream是一个分区的.每个分区有序的.可重放的.多订阅者的,无损的消息序列.(A stream in…

Samza文档翻译 : Architecture

http://samza.incubator.apache.org/learn/documentation/0.7.0/introduction/architecture.html Samza由三层组成: A streaming layer 消息流层 An execution layer 执行层 A processing layer 处理层 Samza自身提供了对所有三个层的支持: Streaming : Kafka Execution: YARN Processing: Samza API 这…

Samza文档翻译 : Backgroud

这一页提供了关于流处理的背景知识,描述什么是Samza,以及它为何而生. what is messaging?什么叫消息? 消息系统是用来实现近实时异步计算的一种流行方式.当事件发生时,消息可以被放在消息队列里(ActiveMQ, RabbitMQ),发布-订阅系统(Kestrel, Kafka)里,或者日志汇集系统(Flume,Scribe)里.下游的消费者从这些系统里读消息,进行处理,或者根据消息内容采取行动. 假如你有一个网站,并且每次有人加载一个网页,就发送发一个"用户查看了页面&q…

Flink官网文档翻译

http://ifeve.com/flink-quick-start/ http://vinoyang.com/2016/05/02/flink-concepts/ http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 并行数据流程序在Flink内部的执行具有并行.分布式的特性.stream被分割成stream partition,operator被分割成operator sub…

Apache Samza - Reliable Stream Processing atop Apache Kafka and Hadoop YARN

http://engineering.linkedin.com/data-streams/apache-samza-linkedins-real-time-stream-processing-framework http://samza.incubator.apache.org/ 前两年一直在使用Kafka, 虽说Kafka一直说可用于online分析, 但是实际在使用的时候会发现问题很多, 比如deploy, 调度, failover等, 我们也做了一些相应的工作 Samza算是把这个补全了,…