Storm入门(七)可靠性机制代码示例
一、关联代码
使用maven,代码如下。
pom.xml 参考 http://www.cnblogs.com/hd3013779515/p/6970551.html
MessageTopology.java
package cn.ljh.storm.reliability; import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.utils.Utils; public class MessageTopology {
public static void main(String[] args) throws Exception {
TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("MessageSpout", new MessageSpout(), 1);
builder.setBolt("SpilterBolt", new SpliterBolt(), 5).shuffleGrouping("MessageSpout");
builder.setBolt("WriterBolt", new WriterBolt(), 1).shuffleGrouping("SpilterBolt"); Config conf = new Config();
conf.setDebug(false); LocalCluster cluster = new LocalCluster();
cluster.submitTopology("messagetest", conf, builder.createTopology());
Utils.sleep(20000);
cluster.killTopology("messagetest");
cluster.shutdown();
}
}
MessageSpou.java
package cn.ljh.storm.reliability; import org.apache.storm.topology.OutputFieldsDeclarer; import java.util.Map;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Values; import org.slf4j.Logger;
import org.slf4j.LoggerFactory; public class MessageSpout extends BaseRichSpout {
public static Logger LOG = LoggerFactory.getLogger(MessageSpout.class);
private SpoutOutputCollector _collector; private int index = 0;
private String[] subjects = new String[]{
"Java,Python",
"Storm,Kafka",
"Spring,Solr",
"Zookeeper,FastDFS",
"Dubbox,Redis"
}; public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
_collector = collector;
} public void nextTuple() { if(index < subjects.length){
String sub = subjects[index];
//使用messageid参数,使可靠性机制生效
_collector.emit(new Values(sub), index);
index++;
}
} public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("subjects"));
} @Override
public void ack(Object msgId) {
LOG.info("【消息发送成功!】(msgId = " + msgId + ")");
} @Override
public void fail(Object msgId) {
LOG.info("【消息发送失败!】(msgId = " + msgId + ")");
LOG.info("【重发进行中。。。】");
_collector.emit(new Values(subjects[(Integer)msgId]), msgId);
LOG.info("【重发成功!】");
} }
SpliterBolt.java
package cn.ljh.storm.reliability; import java.util.Map; import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values; public class SpliterBolt extends BaseRichBolt {
OutputCollector _collector;
private boolean flag = false; public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
_collector = collector;
} public void execute(Tuple tuple) { try{
String subjects = tuple.getStringByField("subjects"); // if(!flag && subjects.equals("Spring,Solr")){
// flag = true;
// int a = 1/0;
// } String[] words = subjects.split(",");
for(String word : words){
//注意:要携带tuple对象,用于处理异常时重发策略。
_collector.emit(tuple, new Values(word));
} //对tuple进行ack
_collector.ack(tuple);
}catch(Exception ex){
ex.printStackTrace();
//对tuple进行fail,使重发。
_collector.fail(tuple);
}
} public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("word"));
} }
WriterBolt.java
package cn.ljh.storm.reliability; import java.io.FileWriter;
import java.io.IOException;
import java.util.Map; import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.tuple.Tuple;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory; public class WriterBolt extends BaseRichBolt {
private static Logger LOG = LoggerFactory.getLogger(WriterBolt.class);
OutputCollector _collector; private FileWriter fileWriter;
private boolean flag = false; public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
_collector = collector; if(fileWriter == null){
try {
fileWriter = new FileWriter("D:\\test\\"+"words.txt");
} catch (IOException e) {
e.printStackTrace();
}
} } public void execute(Tuple tuple) {
try {
String word = tuple.getStringByField("word"); // if(!flag && word.equals("Kafka")){
// flag = true;
// int a = 1/0;
// }
fileWriter.write(word + "\r\n");
fileWriter.flush();
} catch (Exception e) {
e.printStackTrace();
//对tuple进行fail,使重发。
_collector.fail(tuple);
}
//对tuple进行ack
_collector.ack(tuple);
} public void declareOutputFields(OutputFieldsDeclarer declarer) {
}
}
二、执行效果
1、代码要点说明
MessageSpout.java
(1)发射tuple时要设置messageId来使可靠性机制生效
_collector.emit(new Values(sub), index);
(2)重写ack和fail方法
@Override
public void ack(Object msgId) {
LOG.info("【消息发送成功!】(msgId = " + msgId + ")");
} @Override
public void fail(Object msgId) {
LOG.info("【消息发送失败!】(msgId = " + msgId + ")");
LOG.info("【重发进行中。。。】");
_collector.emit(new Values(subjects[(Integer)msgId]), msgId);
LOG.info("【重发成功!】");
}
SpliterBolt.java
(1)发射新tuple时设置输入tuple参数,以使新tuple和输入tuple为一个整体
_collector.emit(tuple, new Values(word));
(2)完成处理后进行ack,失败时进行fail
_collector.ack(tuple); _collector.fail(tuple);
WriterBolt.java
(1)完成处理后进行ack,失败时进行fail
_collector.ack(tuple); _collector.fail(tuple);
2、正常处理结果
3、放开SpliterBolt 的错误代码
结果显示能够正确的重发。
4、放开SpliterBolt 的错误代码
能够正确进行重发,但是文件中storm字符串出现了两次。
5、总结
通过以上测试,如果在第一个bolt处理时出现异常,可以让整个数据进行重发,如果第二个bolt处理时出现异常,也可以让整个数据进行重发,但是同时出现了重复处理的事务性问题,需要进行特殊的处理。
(1)如果数据入库的话,可以把messageId也进行入库保存。此messageId可以用来判断是否重复处理。
(2)事务性tuple尽量不要拆分。
(3)使用storm的Trident框架。
Storm入门(七)可靠性机制代码示例的更多相关文章
- Storm入门(四)WordCount示例
一.关联代码 使用maven,代码如下. pom.xml 和Storm入门(三)HelloWorld示例相同 RandomSentenceSpout.java /** * Licensed to t ...
- Linux信号机制代码示例
1 基本功能: 本Blog创建了两个进程(父子进程): 父进程: 执行文本复制操作,当收到 SIGUSR1信号后,打印出现在文件复制的进度: 子进程: 每个固定时间段向父进程发送一个 SIGUSR1 ...
- Storm入门(三)HelloWorld示例
一.配置开发环境 storm有两种操作模式: 本地模式和远程模式.使用本地模式的时候,你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的t ...
- <MyBatis>入门七 缓存机制
缓存机制 MyBatis包含强大的查询缓存特性,它可以非常方便的定制和配置.缓存可以极大的提升查询效率. MyBatis默认定义了两级缓存:一级缓存和二级缓存 1.默认情况下,只有一级缓存(sqlSe ...
- Storm入门(六)深入理解可靠性机制
转自http://blog.csdn.net/zhangzhebjut/article/details/38467145 一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在 ...
- My.Ioc 代码示例——使用观察者机制捕获注册项状态的变化
在 My.Ioc 中,要想在服务注销/注册时获得通知,可以通过订阅 ObjectBuilderRegistered 和 ObjectBuilderUnregistering 这两个事件来实现.但是,使 ...
- 中文代码示例之Angular入门教程尝试
原址: https://zhuanlan.zhihu.com/p/30853705 原文: 中文代码示例教程之Angular尝试 为了检验中文命名在Angular中的支持程度, 把Angular官方入 ...
- 中文代码示例之Vuejs入门教程(一)
原址: https://zhuanlan.zhihu.com/p/30917346 为了检验中文命名在主流框架中的支持程度, 在vuejs官方入门教程第一部分的示例代码中尽量使用了中文命名. 所有演示 ...
- 2017-10-31 中文代码示例教程之Vuejs入门&后续计划
"中文编程"知乎专栏原链 为了检验中文命名在主流框架中的支持程度, 这里把vuejs官方入门教程第一部分的示例代码中尽量使用了中文命名. 过程中有一些发现, 初步看来Vuejs对中 ...
随机推荐
- git的个人配置
一..gitconfig存储在当前用户所在文件目录下,如图1.1. 图1.1 二.git拉取代码的服务器.用户名.密码,存储的所在位置,如图1.2. 图1.2 三.是否保存密码,由.gitconfig ...
- Oracle-09:聚合函数
------------吾亦无他,唯手熟尔,谦卑若愚,好学若饥------------- 数据库脚本放一下,供测试使用 create table DEPT ( deptno ) not null, d ...
- posix,perl正则表达式区别
1.正则表达式(Regular Expression,缩写为regexp,regex或regxp),又称正规表达式.正规表示式或常规表达式或正规化表示法或正规表示法,是指一个用来描述或者匹配一系列符合 ...
- Git协作流程
Git 作为一个源码管理系统,不可避免涉及到多人协作. 协作必须有一个规范的流程,让大家有效地合作,使得项目井井有条地发展下去."协作流程"在英语里,叫做"workflo ...
- vritualenv虚拟环境迁移
vritualenv虚拟环境迁移的简单步骤: 1.进入原虚拟环境env1,然后执行pip freeze > requirements.txt将包依赖信息保存在requirements.txt文件 ...
- HTTP协议(一)
http协议 协议:是一种规则或者规定 tcp/ip协议:规则了tcp客户端与tcp服务器数据的通讯格式 1.知识点是什么:http协议 2.知识点有什么:规定浏览器与服务器(tcp服务器)之间的数据 ...
- Nginx+Tomcat搭建高性能负载均衡集群
一. 工具 nginx-1.8.0 apache-tomcat-6.0.33 二. 目标 实现高性能负载均衡的Tomcat集群: 三. 步骤 1.首先下载Nginx ...
- 在线OJ使用总结(acm)
赛码网OJ规则 用readLine()代替read_line() 用readLine()代替read_line() 用readLine()代替read_line() 用readLine()代替read ...
- Math.pow();Math.sqrt();
//Math.pow(a,b)功能是a的b次方 (int)Math.sqrt(n):先对n开方,然后转成int类型//例如,(int)Math.sqrt(2)=(int)1.414=1 Math.ab ...
- Oracle的dual表是个什么东东
dual是一个虚拟表,用来构成select的语法规则,oracle保证dual里面永远只有一条记录.我们可以用它来做很多事情,如下: 1.查看当前用户,可以在 SQL Plus中执行下面语句 sele ...