Apache Samza is a distributed stream processing framework. It uses Apache Kafka for messaging, and Apache Hadoop YARN to provide fault tolerance, processor isolation, security, and resource management. Yarn是下一代的mapreduce框架, 重构根本的思想是将 JobTracker 两个基本的…

许多分布式计算系统都可以实时或接近实时地处理大数据流.本文将对三种Apache框架分别进行简单介绍,然后尝试快速.高度概述其异同. Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology).这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行.一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去:而bolt…

许多分布式计算系统都可以实时或接近实时地处理大数据流.本文将对三种Apache框架分别进行简单介绍,然后尝试快速.高度概述其异同. Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology).这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行.一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去:而bolt…

首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClient class ClientHelper(conf: Configuration) extends Logging { val yarnClient = YarnClient.createYarnClient info("trying to connect to RM %s" format conf.get(YarnConfiguration.RM_ADDRESS, YarnCo…

运行脚本,提交job 往YARN提交Samza job要使用run-job.sh这个脚本. samza-example/target/bin/run-job.sh  --config-factory=samza.config.factories.PropertiesConfigFactory  --config-path=file://$PWD/config/hello-world.properties 这脚本的内容是什么呢? exec $(dirname $0)/run-class.sh or…

参考这个里边对API的调用 http://samza.incubator.apache.org/learn/documentation/0.7.0/container/metrics.html 参考这里列出的可用配置 http://samza.incubator.apache.org/learn/documentation/0.7.0/jobs/configuration-table.html 在正常的配置之外,需要额外添加的配置.添加这些配置以后,就可以在StreamTask里使用metric…

当Samza ApplicationMaster启动时,它做以下的事情: 通过STREAMING_CONFIG环境变量从YARN获取配置信息(configuration) 在随机端口上 启动一个JMX server 实例化一个metrics registry和reporter来追踪计量信息 将AM向YARN的RM注册 使用每个stream的PartitionManager来获取总共的partition数量 从Samza的job configuration里获取总的container数量 将par…

http://samza.incubator.apache.org/learn/documentation/0.7.0/comparisons/introduction.html 这里有一些使得Samza和其它流处理项目不同的高层设计决策. The Stream Model 流模型 流是Samza job的输入和输出.Samza有非常强的流模械型——不仅是一个简单的消息交换系统.Samza中的stream是一个分区的.每个分区有序的.可重放的.多订阅者的,无损的消息序列.(A stream in…

http://samza.incubator.apache.org/learn/documentation/0.7.0/introduction/architecture.html Samza由三层组成: A streaming layer 消息流层 An execution layer 执行层 A processing layer 处理层 Samza自身提供了对所有三个层的支持: Streaming : Kafka Execution: YARN Processing: Samza API 这…

此页介绍啊Samza的一些高层级概念. Streams Samza处理Streams(流).流由同一类型的不可变的消息组成.例如,一个流可以是对一个网站的所有点击,或者对一个数据库表的所有更新,或者一个服务产生的所有日志,或者其它类型的消息数据.消息可以被追加到一个流上或者从一个流读出来.一个流可以有任意数量的消费者,并且从一个流读消息并不会把消息从其中删除(所有每息都可以有效地广播到其它消费者).消息可以有选择地拥有一个相关连的key用做分区partitioning,分区的问题接下来会提到.…