storm的定时任务

应用场景：

第一种方法

参考代码StormTopologyTimer1.java

package yehua.storm;

import java.util.Map;

import org.apache.storm.Config;

import org.apache.storm.Constants;

import org.apache.storm.LocalCluster;

import org.apache.storm.StormSubmitter;

import org.apache.storm.generated.AlreadyAliveException;

import org.apache.storm.generated.AuthorizationException;

import org.apache.storm.generated.InvalidTopologyException;

import org.apache.storm.spout.SpoutOutputCollector;

import org.apache.storm.task.OutputCollector;

import org.apache.storm.task.TopologyContext;

import org.apache.storm.topology.OutputFieldsDeclarer;

import org.apache.storm.topology.TopologyBuilder;

import org.apache.storm.topology.base.BaseRichBolt;

import org.apache.storm.topology.base.BaseRichSpout;

import org.apache.storm.tuple.Fields;

import org.apache.storm.tuple.Tuple;

import org.apache.storm.tuple.Values;

import org.apache.storm.utils.Utils;

public class StormTopologyTimer1 {

    public static class MySpout extends BaseRichSpout{

        private Map conf;

        private TopologyContext context;

        private SpoutOutputCollector collector;

        @Override

        public void open(Map conf, TopologyContext context,

                SpoutOutputCollector collector) {

            this.conf = conf;

            this.collector = collector;

            this.context = context;

        }

        int num = 0;

        @Override

        public void nextTuple() {

            num++;

            System.out.println("spout:"+num);

            this.collector.emit(new Values(num));

            Utils.sleep(1000);

        }

        @Override

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

            declarer.declare(new Fields("num"));

        }

    }

    public static class MyBolt extends BaseRichBolt{

        private Map stormConf;

        private TopologyContext context;

        private OutputCollector collector;

        @Override

        public void prepare(Map stormConf, TopologyContext context,

                OutputCollector collector) {

            this.stormConf = stormConf;

            this.context = context;

            this.collector = collector;

        }

        int sum = 0;

        @Override

        public void execute(Tuple input) {

            if(input.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)){

                System.out.println("定时时间到了");

            }else{

                Integer num = input.getIntegerByField("num");

                sum += num;

                System.out.println("sum="+sum);

            }

        }

        @Override

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

        }

    }

    public static void main(String[] args) {

        TopologyBuilder topologyBuilder = new TopologyBuilder();

        String spout_id = MySpout.class.getSimpleName();

        String bolt_id = MyBolt.class.getSimpleName();

        topologyBuilder.setSpout(spout_id, new MySpout());

        topologyBuilder.setBolt(bolt_id, new MyBolt()).shuffleGrouping(spout_id);

        Config config = new Config();

        //设置定时任务

        config.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 10);//表示storm每隔10秒都会给topology里面的所有bolt发送一个系统级别的tuple

        String topology_name = StormTopologyTimer1.class.getSimpleName();

        if(args.length==0){

            //在本地运行

            LocalCluster localCluster = new LocalCluster();

            localCluster.submitTopology(topology_name, config, topologyBuilder.createTopology());

        }else{

            //在集群运行

            try {

                StormSubmitter.submitTopology(topology_name, config, topologyBuilder.createTopology());

            } catch (AlreadyAliveException e) {

                e.printStackTrace();

            } catch (InvalidTopologyException e) {

                e.printStackTrace();

            } catch (AuthorizationException e) {

                e.printStackTrace();

            }

        }

    }

}

方法二：

所以我们应该这么干

这个方法也ok的，这个不同于前面的在main里设置定时，这个是在bolt里设置，这个方法就是针对bolt设置，针对某一个bolt设置定时任务！

参考代码StormTopologyTimer2.java

package yehua.storm;

import java.util.HashMap;

import java.util.Map;

import org.apache.storm.Config;

import org.apache.storm.Constants;

import org.apache.storm.LocalCluster;

import org.apache.storm.StormSubmitter;

import org.apache.storm.generated.AlreadyAliveException;

import org.apache.storm.generated.AuthorizationException;

import org.apache.storm.generated.InvalidTopologyException;

import org.apache.storm.spout.SpoutOutputCollector;

import org.apache.storm.task.OutputCollector;

import org.apache.storm.task.TopologyContext;

import org.apache.storm.topology.OutputFieldsDeclarer;

import org.apache.storm.topology.TopologyBuilder;

import org.apache.storm.topology.base.BaseRichBolt;

import org.apache.storm.topology.base.BaseRichSpout;

import org.apache.storm.tuple.Fields;

import org.apache.storm.tuple.Tuple;

import org.apache.storm.tuple.Values;

import org.apache.storm.utils.Utils;

public class StormTopologyTimer2 {

    public static class MySpout extends BaseRichSpout{

        private Map conf;

        private TopologyContext context;

        private SpoutOutputCollector collector;

        @Override

        public void open(Map conf, TopologyContext context,

                SpoutOutputCollector collector) {

            this.conf = conf;

            this.collector = collector;

            this.context = context;

        }

        int num = 0;

        @Override

        public void nextTuple() {

            num++;

            System.out.println("spout:"+num);

            this.collector.emit(new Values(num));

            Utils.sleep(1000);

        }

        @Override

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

            declarer.declare(new Fields("num"));

        }

    }

    public static class MyBolt extends BaseRichBolt{

        private Map stormConf;

        private TopologyContext context;

        private OutputCollector collector;

        @Override

        public void prepare(Map stormConf, TopologyContext context,

                OutputCollector collector) {

            this.stormConf = stormConf;

            this.context = context;

            this.collector = collector;

        }

        int sum = 0;

        @Override

        public void execute(Tuple input) {

            if(input.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)){

                System.out.println("定时时间到了");

            }else{

                Integer num = input.getIntegerByField("num");

                sum += num;

                System.out.println("sum="+sum);

            }

        }

        @Override

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

        }

        @Override

        public Map<String, Object> getComponentConfiguration() {

            HashMap<String, Object> hashMap = new HashMap<String, Object>();

            hashMap.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 10);//给当前bolt设置定时任务

            return hashMap;

        }

    }

    public static void main(String[] args) {

        TopologyBuilder topologyBuilder = new TopologyBuilder();

        String spout_id = MySpout.class.getSimpleName();

        String bolt_id = MyBolt.class.getSimpleName();

        topologyBuilder.setSpout(spout_id, new MySpout());

        topologyBuilder.setBolt(bolt_id, new MyBolt()).shuffleGrouping(spout_id);

        Config config = new Config();

        String topology_name = StormTopologyTimer2.class.getSimpleName();

        if(args.length==0){

            //在本地运行

            LocalCluster localCluster = new LocalCluster();

            localCluster.submitTopology(topology_name, config, topologyBuilder.createTopology());

        }else{

            //在集群运行

            try {

                StormSubmitter.submitTopology(topology_name, config, topologyBuilder.createTopology());

            } catch (AlreadyAliveException e) {

                e.printStackTrace();

            } catch (InvalidTopologyException e) {

                e.printStackTrace();

            } catch (AuthorizationException e) {

                e.printStackTrace();

            }

        }

    }

}

storm的定时任务的更多相关文章

Storm编程入门API系列之Storm的定时任务实现
概念,见博客 Storm概念学习系列之storm的定时任务 Storm的定时任务,分为两种实现方式,都是可以达到目的的. 我这里,分为StormTopologyTimer1.java 和 Sto ...
Storm概念学习系列之storm的定时任务
不多说,直接上干货! 至于为什么,有storm的定时任务.这个很简单.但是,这个在工作中非常重要! 假设有如下的业务场景这个spoult源源不断地发送数据,boilt呢会进行处理.然后呢,处理后的结 ...
storm正常任务数据量过大时造成定时任务不执行的问题
在执行storm的定时任务时,发现storm普通任务数据量过大时造成定时任务不执行, 同时设置了storm的普通任务和定时任务,定时任务设置5秒执行1次. 普通任务的数据时从spout中不停发射字符串 ...
storm的代码实现
先模拟产生一些数据我把这些数据摘一部分下来 2017-06-10 18:25:56,092 [main] [org.apache.kafka.common.utils.AppInfoParser] ...
Storm概念学习系列之核心概念（Tuple、Spout、Blot、Stream、Stream Grouping、Worker、Task、Executor、Topology）（博主推荐）
不多说,直接上干货! 以下都是非常重要的storm概念知识. (Tuple元组数据载体 .Spout数据源.Blot消息处理者.Stream消息流和 Stream Grouping 消息流组.Wor ...
storm定时任务【tick】
一. 简介 storm作为流计算,处理数据通常以数据驱动.即只有当spout发射数据才会进行计算.那么如果想要做定时任务如何处理哪,例如有的bolt需要输出一段时间统计的结果,这里一段时间可 ...
Storm中的定时任务
1.全局定时器 import java.util.Map; import backtype.storm.Config; import backtype.storm.Constants; import ...
Storm框架：如何实现crontab定时任务
Storm除了能对消息流进行处理,还能实现crontab定时任务. 只要在bolt中配置TOPOLOGY_TICK_TUPLE_FREQ_SECS项即可实现. @Override public Map ...
Storm中遇到的日志多次重写问题（一）
业务描述: 统计从kafka spout中读取的数据条数,以及写入redis的数据的条数,写入hdfs的数据条数,写入kafaka的数据条数.并且每过5秒将数据按照json文件的形式写入日志.其中保存 ...

随机推荐

【转】react的高阶组件
React进阶之高阶组件前言本文代码浅显易懂,思想深入实用.此属于react进阶用法,如果你还不了解react,建议从文档开始看起. 我们都知道高阶函数是什么, 高阶组件其实是差不多的用法,只 ...
几个css问题
1.中文.英文和数字的表现方式不一样. 中文可以自动换行,英文和数字并不会自动换行,设置强制换行显示.word-wrap:break-word; 2.textarea中输入文字多的情况下,和邻边的in ...
antd中fomr中resetFields清空输入框
1.如果没有initValue的情况下,直接使用resetFields可以清空文本框的值 2.如果是有initValue的情况下,直接使用resetFields方法会直接重置为initValue的值 ...
Locust 测试结果通过Matplotlib生成趋势图
目的: 相信大家对于使用Loadrunner测试后的结果分析详细程度还是有比较深刻的感受的,每个请求,每个事务点等都会有各自的趋势指标,在同一张图标中展示.如下图: 而Locust自身提供的chart ...
UI基础:UIView(window,frame,UIColor,CGPoint,alpha,CGRect等) 分类： iOS学习-UI 2015-06-30 20:01 119人阅读评论(0) 收藏
UIView 视图类,视图都是UIView或者UIView子类 UIWindow 窗口类,用于展示视图,视图一定要添加window才能显示注意:一般来说,一个应用只有一个window 创建一个UIW ...
外部获取IndexPath的几种方式（关联对象等）
1. 一般方式 - (void)buttonAction:(UIButton *)sender { UITableViewCell *cell = (UITableViewCell *)[[sende ...
【c++基础】如何获取工程项目当前路径
工程项目当前路径 #include <direct.h> int main( ) { ]; _getcwd(buffer, ); std::cout << buffer < ...
Java/JDK安装教程手册(正规图文全流程)、运行、环境配置
Java/JDK教程手册本文提供全流程,中文翻译.Chinar坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) 一 Download Resouc ...
HDU 1872：稳定排序
稳定排序 Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submi ...
hdu2073-2078
hdu2073 数学 #include<stdio.h> #include<math.h> double len(double x){ )*(x+)); } int main( ...

storm的定时任务

storm的定时任务的更多相关文章

随机推荐

热门专题