storm定时任务【tick】

一. 简介

     storm作为流计算，处理数据通常以数据驱动。即只有当spout发射数据才会进行计算。那么如果想要做定时任务如何处理哪，例如有的bolt需要输出一段时间统计的结果，这里一段时间可能是几秒、几分钟或者几小时。如果还是以数据进行驱动的话必然会输出时间不可确定。同样也可以启一个线程一段时间执行一次，这也是一种解决方案。但是我希望有种更优雅的解决方案，就是这里说的tick。tick是由storm框架进行计时，到达设定时间会发送一个特殊的tuple：ticktuple，此时处理定时任务就可以了。

二. 代码

     如果是某一个bolt由定时需求的话，可以按照一下方式设置

1. 继承BaseBasicBolt
2. getComponentConfiguration方法设置发送ticktuple间隔时间（单位s）
3. execute方法判断tuple类型，如果为ticktuple处理定时任务，如果不是处理其他任务。

以下是wordCount中CountBolt代码，每5s输出各单词统计的数据。

 //继承 BaseBasicBolt
 public class CountTickBolt extends BaseBasicBolt {
     private static final Logger logger = LoggerFactory.getLogger(CountTickBolt.class);
     private Map<String, Integer> count;
     private Long time;

     @Override
     public Map<String, Object> getComponentConfiguration() {
         //设置发送ticktuple的时间间隔
         Config conf = new Config();
         conf.put(conf.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 5);
         return conf;
     }

     @Override
     public void prepare(Map stormConf, TopologyContext context) {
         super.prepare(stormConf, context);
         count = new HashMap<String, Integer>();
         time = System.currentTimeMillis();
     }

     @Override
     public void cleanup() {
         super.cleanup();
     }

     @Override
     public void execute(Tuple input, BasicOutputCollector collector) {
         //判断是否为tickTuple
         if (input.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) &&
                 input.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID)){
             //是，处理定时任务
             Long nowTime = System.currentTimeMillis();
             Long useTime = nowTime - time;
             StringBuffer sb = new StringBuffer();
             sb.append("======== Use Time :" + useTime + "========\r\n");
             for (Map.Entry wordCount : count.entrySet()){
                 sb.append(wordCount.getKey() + "------>" + wordCount.getValue() + "\r\n");
             }
             Long nnTime = System.currentTimeMillis();
             logger.info(sb.toString() + (nnTime - nowTime) );
             time = nnTime;
         }else {
             //否，处理其他数据
             String word = input.getString(0);
             if (count.containsKey(word)){
                 int thisWordCont = count.get(word);
                 count.put(word, ++thisWordCont);
             }else {
                 count.put(word,1);
             }
         }
     }

     @Override
     public void declareOutputFields(OutputFieldsDeclarer declarer) {

     }

三. 总结

     以上是一个简单的介绍，需要说明的是由于设置时间间隔是秒级的，所以在处理时会有毫秒级的误差，通常是± 2ms。

　　以下是没有介绍或者测试到的地方，在以后会补上。

1. 如何设置此拓扑中所有的spout和bolt都定时处理。
2. 由于是tuple类型数据，当正常tuple数据量过大时是否会造成tickTuple延时消费。

　　WordCout源码：https://github.com/youtNa/stormTick