storm 为什么要存在不透明分区事务

【storm 为什么要存在不透明分区事务】的更多相关文章

storm 为什么要存在不透明分区事务

不透明分区事务不区分发新消息还是旧消息,全部用emitPartitionBatch搞定,虽然 emitPartitionBatch返回的X应该是下一批次供自己使用(emitPartitionBatch的第四个参数), 但是只有一个批次成功以后X才会更新到Zookeeper中,如果失败重发,emitPartitionBatch读取的X还是旧的.所以这时候自定义的X不需要记录当前批次的开始位置和下一批次的开始位置两个值, 只需要记录下一批次开始位置一个值即可.eg: public class Ba…

Storm系列(二十)分区事务PartitionTransaction及示例

在Storm中分区事务的处理,Spout端需要实现IPartitionedTransactionalSpout接口,用于对批次及偏移量的控制,而Bolt都必须实现IBatchBolt接口,通常继承至BaseTransactionalBolt抽象类. API详解 Spout端 IPartitionedTransactionalSpout接口 1 && ifbatch){ 52 System.err.println("TestTransactionB…

Storm入门教程第五章一致性事务【转】

Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理.如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题. Transactional Topology目前已经不再维护,由Trident来实现事务性topology,但是原理相同. 5.1一致性事务的设计 Storm如何实现即对tuple并行处理,又保证事务性.本节从简单的事务性实现方法入手…

大数据量场景下storm自定义分组与Hbase预分区完美结合大幅度节省内存空间

前言:在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗.大量的预分区数量会导致hbase客户端缓存大量的分区地址,导致内存的增长,某些系统中一个JVM进程中会开启几十个独立的hbase客户端对象,同时会查询多张Hbase表,这样JVM进程就会缓存 (预分区数 X 表数 X Hbase客户端数=条记录). 有没有这种情况?有的,在本人的storm项目中,采用结合sp…

storm自定义分组与Hbase预分区结合节省内存消耗

Hbas预分区在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗.大量的预分区数量会导致hbase客户端缓存大量的分区地址,导致内存的增长,某些系统中一个JVM进程中会开启几十个独立的hbase客户端对象,同时会查询多张Hbase表,这样JVM进程就会缓存 (预分区数 X 表数 X Hbase客户端数=条记录). storm的自定义分组有没有这种情况?有的,在本…

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)

1.Storm全面.系统.深入讲解,采用最新的稳定版本Storm 0.9.0.1 : 2.注重实践,对较抽象难懂的技术点如Grouping策略.并发度及线程安全.批处理事务.DRPC.Storm Trident均结合企业场景开发案例进行讲解, 让学员觉得简单易懂: 3.分享积累的经验和技巧,从架构的角度剖析场景和设计实现方案: 4.讲师Cloudy具有丰富的电商云平台架构经验,对流计算更是涉足早.沉淀深,课程依然沿用重实践.重实战的风格. 学习课程需要具有: Java基础.…

Storm（三）Storm的原理机制

一.Storm的数据分发策略 1. Shuffle Grouping 随机分组,随机派发stream里面的tuple,保证每个bolt task接收到的tuple数目大致相同. 轮询,平均分配 2. Fields Grouping 按字段分组,比如,按"user-id"这个字段来分组,那么具有同样"user-id"的 tuple 会被分到相同的Bolt里的一个task, 而不同的"user-id"则可能会被分配到不同的task. 3. All G…

大数据处理框架之Strom：事务

环境虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 storm-0.9 apache-flume-1.6.0 一.storm三种事务1.普通事务(常用)2.Partitioned Transaction - 分区事务3.Opaque Transaction - 不透明分区事务二.普通事务设计1.Design 1强顺序流(强有序)(1)引入事务(transaction)的概念,每个transaction(…

storm事务

1. storm 事务对于容错机制,Storm通过一个系统级别的组件acker,结合xor校验机制判断一个msg是否发送成功,进而spout可以重发该msg,保证一个msg在出错的情况下至少被重发一次.但是在一些事务性要求比较高的场景中,需要保障一次只有一次的语义,比如需要精确统计tuple的数量等等,torm0.7.0实现了一个新特性---事务性拓扑,这一特性使消息在语义上确保你可以安全的方式重发消息,并保证它们只会被处理一次.在不支持事务性拓扑的情况下,你无法在准确性,可扩展性,以空错性上…

62、Spark Streaming：容错机制以及事务语义

一. 容错机制 1.背景要理解Spark Streaming提供的容错机制,先回忆一下Spark RDD的基础容错语义: 1.RDD,Ressilient Distributed Dataset,是不可变的.确定的.可重新计算的.分布式的数据集.每个RDD都会记住确定好的计算操作的血缘关系, (val lines = sc.textFile(hdfs file); val words = lines.flatMap(); val pairs = words.map(); val wordCou…

hive如何配置支持事务及insert、update、delete

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置.要想支持行级insert.update.delete,需要配置Hive支持事务. 一.Hive具有ACID语义事务的使用场景1. 流式接收数据.许多用户使用诸如Apache Flume.Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群.当这些工具以每秒数百行的频率写入时,Hive也许只能每15分钟到1小时添加一个分区,因为过于频繁地添加分区很快就会使一个表中的分区数量难以维…

《Storm入门》中文版

本文翻译自<Getting Started With Storm>译者:吴京润编辑:郭蕾方腾飞本书的译文仅限于学习和研究之用,没有原作者和译者的授权不能用于商业用途. 译者序 Storm入门终于翻译完了.首先感谢并发编程网同意本人在网站上首发本书译文,同时还要感谢并发编程网的各位大牛们的耐心帮助.这是本人翻译的第一本书,其中必有各种不足请诸位读者朋友不吝斧正. 译完此书之后,我已经忘记了是如何知道的Storm这个工具了.本人读过的所有技术书籍大部分都是在地铁上完成的,现在已经成了习…

Spring中@Transactional事务回滚实例及源码

一.使用场景举例在了解@Transactional怎么用之前我们必须要先知道@Transactional有什么用.下面举个栗子:比如一个部门里面有很多成员,这两者分别保存在部门表和成员表里面,在删除某个部门的时候,假设我们默认删除对应的成员.但是在执行的时候可能会出现这种情况,我们先删除部门,再删除成员,但是部门删除成功了,删除成员的时候出异常了.这时候我们希望如果成员删除失败了,之前删除的部门也取消删除.这种场景就可以使用@Transactional事物回滚. 二.checked异常和unc…

storm简介[ZZ]

场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样.更加便捷,同时对于信息的时效性要求也越来越高.举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来.点击.购买啦,相反,如果这个宝贝要等到第二天或者更久才可以被搜出来,估计这个大哥就要骂娘了.再举一个推荐的例子,如果用户昨天在淘宝上买了一双袜子,今天想买一副泳镜去游泳,但是却发现系统在不遗余力地给他推荐袜子.鞋子,根本对他今天寻找泳镜的行为视而不见,估计…

Spring中@Transactional事务回滚（含实例详细讲解，附源码）

一.使用场景举例在了解@Transactional怎么用之前我们必须要先知道@Transactional有什么用.下面举个栗子:比如一个部门里面有很多成员,这两者分别保存在部门表和成员表里面,在删除某个部门的时候,假设我们默认删除对应的成员.但是在执行的时候可能会出现这种情况,我们先删除部门,再删除成员,但是部门删除成功了,删除成员的时候出异常了.这时候我们希望如果成员删除失败了,之前删除的部门也取消删除.这种场景就可以使用@Transactional事物回滚. 二.checked异常和unc…

sharding：谁都能读懂的分库、分表、分区

本文通过大量图片来分析和描述分库.分表以及数据库分区是怎样进行的. 1.sharding前的初始数据分布在本文中,我打算用高考考生相关信息作为实验数据.请无视表的字段是否符合现实,也请无视表的设计是否符合范式. 3张表: 考生表,存放全国所有高考考生信息,假设34个省.(直辖)市.(自治区.特别行政)区共3000W考生学科表,分文理科,共9门课程(语文.数学.英语.历史.地理.政治.物理.化学.生物) 成绩表,存过全国所有考生所有学科成绩,每个学生6门成绩,共1.8亿条成绩数据三张表放在名…

Storm 系列（一）基本概念

Storm 系列(一)基本概念 Apache Storm(http://storm.apache.org/)是由 Twitter 开源的分布式实时计算系统. Storm 可以非常容易并且可靠地处理无限的数据流.对比 Hadoop 的批处理, Storm 是一个实时的.分布式的.具备高容错的计算系统. Storm 的使用场景非常广泛,比如实时分析.在线机器学习.分布式 RPC.ETL 等.Storm 非常高效,在一个多节点集群上每秒钟可以轻松处理上百万条的消息. Storm 还具有良好的可扩展性和…

Spring中@Transactional事务回滚

转载: Spring中@Transactional事务回滚一.使用场景举例在了解@Transactional怎么用之前我们必须要先知道@Transactional有什么用.下面举个栗子:比如一个部门里面有很多成员,这两者分别保存在部门表和成员表里面,在删除某个部门的时候,假设我们默认删除对应的成员.但是在执行的时候可能会出现这种情况,我们先删除部门,再删除成员,但是部门删除成功了,删除成员的时候出异常了.这时候我们希望如果成员删除失败了,之前删除的部门也取消删除.这种场景就可以使用@Tran…

Spring中@Transactional事务回滚（含实例具体解说，附源代码）

一.使用场景举例在了解@Transactional怎么用之前我们必须要先知道@Transactional有什么用. 以下举个栗子:比方一个部门里面有非常多成员,这两者分别保存在部门表和成员表里面,在删除某个部门的时候,假设我们默认删除相应的成员.可是在运行的时候可能会出现这样的情况,我们先删除部门,再删除成员,可是部门删除成功了,删除成员的时候出异常了.这时候我们希望假设成员删除失败了.之前删除的部门也取消删除.这样的场景就能够使用@Transactional事物回滚. 二.checked异常…

【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）

1 大数据概述大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低数据量大:大数据摩尔定律快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少:1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据) 价值密度低,商业价值高大数据影响: 对科学研究影响:出现科学研究第四方式数据(前三个分别是实验.理论.计算) 对思维方式影响:全样而非抽样.效率而非准确.相关而非…

Data Partitioning Guidance

在很多大规模的解决方案中,数据都是分成单独的分区,可以分别进行管理和访问的.而分割数据的策略必须仔细的斟酌才能够最大限度的提高效益,同时最大限度的减少不利影响.数据的分区可以极大的提升可扩展性,降低争用以及优化性能. 为何进行数据分区绝大多数的云应用和云服务都会将存储和检索数据作为其业务的一部分.而应用所使用的数据仓库的设计对于系统的性能,吞吐,扩展性都有着非常重要的影响.其中在大规模系统中常用的一种技术,就是对数据进行分区. 本文中所提到的数据分区,指的是物理上将数据分割成不同的数据仓库.这…

hive执行更新和删除操作

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置.要想支持行级insert.update.delete,需要配置Hive支持事务. 一.Hive具有ACID语义事务的使用场景1. 流式接收数据.许多用户使用诸如Apache Flume.Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群.当这些工具以每秒数百行的频率写入时,Hive也许只能每15分钟到1小时添加一个分区,因为过于频繁地添加分区很快就会使一个表中的分区数量难以维…

大数据-SparkStreaming

SparkStreaming SparkStreaming是一种微批处理,准实时的流式框架.数据来源包括:Kafka, Flume,TCP sockets,Twitter,ZeroMQ等 SparkStreaming与storm的区别: SparkStreaming微批处理数据,storm按条处理数据 SparkStreaming支持稍复杂的逻辑 SparkStreaming与storm都支持资源动态调整和事务机制 SparkStreaming的处理架构:采用recevier task持续拉取数…

消息队列那么多，为什么建议深入了解下RabbitMQ？

你为啥要在项目中选择xxx消息中间件? 提起消息队列,也许你的脑海里会不自觉地蹦出好多概念:JMS.Kafka.RocketMQ.AMQP.RabbitMQ.ActiveMQ.Pulsar.Redis Stream...如果你的项目中恰好用到了其中的一个消息中间件,那么你出去面试或者与同事交流技术的时候,对方很大概率会问你:为啥要选择xxx消息中间件? 如果你刚好只了解你正在用的消息中间件,那么你只能回答:因为只会xxx... 不...这绝对不是你想要的结局!在对方准备看你的笑话之前,你也许可以…

JTA 深度历险 - 原理与实现

转自http://www.ibm.com/developerworks/cn/java/j-lo-jta/ 在 J2EE 应用中,事务是一个不可或缺的组件模型,它保证了用户操作的 ACID(即原子.一致.隔离.持久)属性.对于只操作单一数据源的应用,可以通过本地资源接口实现事务管理:对于跨数据源(例如多个数据库,或者数据库与 JMS)的大型应用,则必须使用全局事务 JTA (Java Transaction API).JTA 为 J2EE 平台提供了分布式事务服务,它隔离了事务与底层的资源,实现…