http://www.programgo.com/article/68283366567/…

作者:Jack47 PS:如果喜欢我写的文章,欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源. 本文主要翻译自Storm官方文档Guaranteeing message processing,但我觉得官方文档写的有些随意,啰嗦,所以做了一些修改,里面的配图自己重新画了,能够更加贴切的表达意思. 内容简介 Storm可以保证从Spout发出的每个消息都能被完全处理.Storm的可靠性机制是完全分布式的(distributed),可伸缩的(scalable),容错的…

最近利用闲暇时间,又重新研读了一下Storm.认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于HDFS,通过MapReduce方式的离线数据分析计算.对于Hadoop,本身不擅长实时的数据分析处理.两者的共同点都是分布式的架构,而且,都类似有主/从关系的概念.本文中我就不具体阐述Storm集群和Zookeeper集群如何部署的问题,我想通过一个实际的案例切入,分析一下如何利用Storm,完成实时分析处理数据的. Storm本身是Apache托管的开源的分布式实时计…

Storm Trident的核心数据模型是一批一批被处理的“流”,“流”在集群的分区在集群的节点上,对“流”的操作也是并行的在每个分区上进行. Trident有五种对“流”的操作: 1.      不需要网络传输的本地批次运算 2.      需要网络传输的“重分布”操作,不改变数据的内容 3.      聚合操作,网络传输是该操作的一部分 4.      “流”分组(grouby)操作 5.      合并和关联操作 批次本地操作: 批次本地操作不需要网络传输,本格分区(partion)的运算…

本文导读: Component全家谱结构图 Spout分析 ——类图 ——分析(接口实现).结论 ——可靠的与不可靠的消息(推荐) Bolt分析  ——类图 ——分析(接口实现).结论 ——可靠的与不可靠的Bolt(推荐)     Component: Storm中,Spout和Bolt都是其Component,所以,Storm定义了一个名叫IComponent的总接口. 其全家谱结构图如下:  绿色部分是我们最常用.比较简单的部分.红色部分是与事务相关的,在以后的文章会具体讲解.   Base…

本文导读: 1.What——JStorm是什么? 1.1 概述 .2优点 .3应用场景 .4JStorm架构 2.Why——为什么启动JStorm项目?(与storm的区别) .1storm的现状.缺陷 .2JStorm比Storm更稳定,功能更强大,更快!—— 表现 2.2.1稳定性好的表现 2.2.2调度强大的表现 2.2.3性能更好的表现 .3性能提升的原因所在 .4JStorm的其它优点 .5与flume.S4.AKKA.Spark的比较 3.JStorm的性能优化点 4.JStorm的…

原文地址 简单易用,Storm让大数据分析变得轻而易举. 如今,公司在日常运作中经常会产生TB(terabytes)级的数据.数据来源包括从网络传感器捕获的,到Web,社交媒体,交易型业务数据,以及其他业务环境中创建的数据.考虑到数据的生成量,实时计算(real-time computation )已成为很多组织面临的一个巨大挑战.我们已经有效地使用了一个可扩展的实时计算系统--开源的 Storm 工具,它是有 Twitter 开发,通常被称为"实时 Hadoop(real-time Hadoo…

Setting up your development environment 1. download j2se 6 SDK from http://www.oracle.com/technetwork/java/javase/downloads/index.html chmod 775 jdk-6u35-linux-64.bin yes | jdk-6u35-linux-64.bin mv jdk1.6.0_35 /opt ln -s /opt/jdk1.6.0_35/bin/java /us…

超好资料: 英文:https://github.com/xetorthio/getting-started-with-storm/blob/master/ch03Topologies.asc 中文:http://ifeve.com/getting-started-with-storm-3/ 下面具体讲下:storm的几种groupping 策略的例子 Storm Grouping shuffleGrouping 将流分组定义为混排.这种混排分组意味着来自Spout的输入将混排,或随机分发给此Bo…

storm保证从spout发出的每个tuple都会被完全处理.这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点. 一个tuple被”完全处理”是什么意思? 就如同蝴蝶效应一样,从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生, 想想那个计算一篇文章中每个单词出现次数的topology. 帮助 1 2 3 4 5 6 7 8 9 TopologyBuilder builder = new TopologyBuilder()…

Storm是一个分布式的.容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理.Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息.可以使用任意编程语言来做开发.主要商业应用及案例:TwitterStorm的优点1. 简单的编程模型.类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复…

Storm入门教程 1. Storm基础 Storm Storm主要特点 Storm基本概念 Storm调度器 Storm配置 Guaranteeing Message Processing(消息处理保障机制) 消息的"完整性处理" 在消息得到完整性处理后或处理失败后会发生什么 Storm 的可靠性 API 在 tuple 可以被重新处理的前提下,如何使应用正确运行 Storm 是以怎样以高效的方式实现可靠性 调整可靠性 Daemon Fault Tolerance(守护线程容错机制)…

Storm流分组介绍                流分组是拓扑定义的一部分,每个Bolt指定应该接收哪个流作为输入.流分组定义了流/元组如何在Bolt的任务之间进行分发.在设计拓扑的时候需要定义数据如何在组件之间进行交换(流如何被Bolt消耗处理).    一个流分组指定每个Bolt消耗哪个流.一个节点可以发出多个数据流,流分组允许我们有选择的接收流进行消耗处理.                Storm内置了7种流分组方式和一个自定义分组方式(由InputDeclarer接口定义).Inpu…

最近利用闲暇时间,又重新研读了一下Storm.认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于HDFS,通过MapReduce方式的离线数据分析计算.对于Hadoop,本身不擅长实时的数据分析处理.两者的共同点都是分布式的架构,而且,都类似有主/从关系的概念.本文中我就不具体阐述Strom集群和Zookeeper集群如何部署的问题,我想通过一个实际的案例切入,分析一下如何利用Storm,完成实时分析处理数据的. Storm本身是Apache托管的开源的分布式实时计…

目录 概况 手工搭建集群 引言 安装Python 配置文件 启动与测试 应用部署 参数配置 Storm命令 原理 Storm架构 Storm组件 Stream Grouping 守护进程容错性(Daemon Fault Tolerance) 数据可靠性(Guaranteeing Message Processing) 消息传输机制 API WordCount示例 应用部署方式 组件接口 组件实现类 数据连接方式 常用Topology模式 日志(集群模式) 并行度设置 tick定时机制 序列化 与…

Guaranteeing Message Processing Storm保证每一个tuple被完全处理.Strom中一个核心的机制是它提供了一种跟踪tuple血统的能力,它使用了一种十分有效的方式跟踪topology中的tuple. Storm中最基本的抽象是提供了至少一次(at-least-once)处理的保证,当你使用队列系统的时候也可以提供相同的保证. Messages are only replayed when there are failures.(消息只有在失败的时候才会被重新投…

Strom的结构 Storm与传统关系型数据库     传统关系型数据库是先存后计算,而storm则是先算后存,甚至不存     传统关系型数据库很难部署实时计算,只能部署定时任务统计分析窗口数据     关系型数据库重视事务,并发控制,相对来说Storm比较简陋     Storm不Hadoop,Spark等是流行的大数据方案 与Storm关系密切的语言:核心代码用clojure书写,实用程序用python开发,使用java开发拓扑 topology Storm集群中有两种节点,一种是控制节点…

The core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the cluster, and operations applied to a stream are applied in parallel across each partition. There are five kinds of o…

转自http://blog.csdn.net/zhangzhebjut/article/details/38467145 一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理.完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应该到达的Bolt的处理. 注: timetout 可以通过Config.TOPOLOGY_MESSAGE_TIMEOUT_SE…

转自:http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ storm保证从spout发出的每个tuple都会被完全处理.这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点. 一个tuple被”完全处理”是什么意思? 就如同蝴蝶效应一样,从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生, 想想那个计算一篇文章中每个单词出现次数的topology. Topolog…

一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka,这次我们就专注于利用storm将数据写入到hdfs的过程,由于storm写入hdfs的可定制东西有些多,我们先不从kafka读取,而先自己定义一个Spout数据充当数据源,下章再进行整合.这里默认你是拥有一定的storm知识的基础,起码知道Spout和bolt是什么. 写入hdfs可以有以下的定制策略: 自定义写入文件的名字 定义写入内容格式 满足给定条件后更改写入的文件 更改写入文件时触发的Action 本篇会先说明如何用sto…

storm 引入redis ,主要是使用redis缓存库暂存storm的计算结果,然后redis供其他应用调用取出数据. 新建maven工程 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org…

转自:https://www.cnblogs.com/cn-leodream/p/6497277.html 看介绍文档貌似挺好:https://github.com/alibaba/jstorm   阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持,加快内部业务响应速度 现有Storm无法满足一些需求 现有storm调度太简单粗暴,无法定制化 Storm 任务分配不平衡 RPC OOM一直没…

  原本打算将storm直接与flume直连,发现相应组件支持比较弱,topology任务对应的supervisor也不一定在哪个节点上,只能采用统一的分布式消息服务Kafka.   原本打算将结构设置为:   最后结构更改为:      集成Kafka   storm中已经写好了KafkaSpout用来接收Kafka中间件上的消息,并发射到Bolt中,只需要依赖 storm-kafka即可:   <dependency> <groupId>org.apache.storm<…

本文由作者林洋港授权网易云社区发布. 作为服务端程序,我们总是需要向外界报告一些统计数据,以助于了解系统的运行情况,比如某个接口的调用时间.系统处理的请求数等等.当我们的程序以Storm Topology的形式运行时同样需要输出这些统计数据.Storm为我们提供了Metric接口,可以方便的把一些统计指标输出到指定的地方.Storm Metric的统计方式为每隔指定的时间间隔输出统计内容.本文首先介绍Storm Metric相关的接口以及它们之间的关系,然后以实际应用中的一个例子来说明如何使用M…

在Storm Trident中有五种操作类型 Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输 Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输 Aggragation:聚合操作,会有网络传输 Grouped streams上的操作 Merge和Join 一Apply Locally 1.functions函数操作 函数的作用是接收一个tuple(需指定接收tuple的哪个字段),输出0个或多个tuples.…

Twitter Storm如何保证消息不丢失 发表于 2011 年 09 月 30 日 由 xumingming 作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ 本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processing s…

看介绍文档貌似挺好:https://github.com/alibaba/jstorm   阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持,加快内部业务响应速度 现有Storm无法满足一些需求 现有storm调度太简单粗暴,无法定制化 Storm 任务分配不平衡 RPC OOM一直没有解决 监控太简单 对ZK 访问频繁 JStorm相比Storm更稳定 Nimbus 实现HA:当一台nim…

4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理.本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理. 4.2 理解消息被完整处理 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com", 22…

计算top N words的topology, 用于比如trending topics or trending images on Twitter. 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码 Topology 这是一个稍微复杂些的topology, 主要体现在使用不同的grouping方式, fieldsGrouping和globalGrouping  String spoutId = "wordGenerator"; String counterId = &…