Storm/JStorm之TopologyBuilder源码阅读
在Strom/JStorm中有一个类是特别重要的,主要用来构建Topology的,这个类就是TopologyBuilder.
咱先看一下简单的例子:
public static void main(String[] args) throws AlreadyAliveException,
InvalidTopologyException {
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("input", new RandomSentenceSpout(), 2);
builder.setBolt("bolt_sentence", new SplitSentenceBolt(), 2)
.shuffleGrouping("input"); // 本地模式:最主要用来调试用
LocalCluster cluster = new LocalCluster();
System.out.println("start wordcount");
cluster.submitTopology("word count", conf, builder.createTopology());
}
在上面的main方法里先创建TopologyBuilder对象,然后设置好已创建的Spout节点和Bolt节点,并用随机分组(shuffleGrouping)将Spout和Bolt节点连接起来形成Topology。
那TopologyBuilder是如何做的呢?请看下面TopologyBuilder源代码:
/**
* TopologyBuilder是一个用于构建Topology的工具类
*
*/
public class TopologyBuilder {
/**
* 定义了类成员变量_bolts,用来存放IRichBolt类型的所有Bolt对象
*/
private Map<String, IRichBolt> _bolts = new HashMap<String, IRichBolt>();
/**
* 定义了类成员变量_spouts,用来存放IRichSpout类型的所有Spout对象
*/
private Map<String, IRichSpout> _spouts = new HashMap<String, IRichSpout>();
/**
* 定义了类成员变量_commons,存放了所有的Bolt和Spout对象
*/
private Map<String, ComponentCommon> _commons = new HashMap<String, ComponentCommon>(); // private Map<String, Map<GlobalStreamId, Grouping>> _inputs = new HashMap<String, Map<GlobalStreamId, Grouping>>(); private Map<String, StateSpoutSpec> _stateSpouts = new HashMap<String, StateSpoutSpec>();
/**
* 根据传入的Bolt和Spout对象构建StormTopology对象
* @return
*/
public StormTopology createTopology() {
Map<String, Bolt> boltSpecs = new HashMap<String, Bolt>();
Map<String, SpoutSpec> spoutSpecs = new HashMap<String, SpoutSpec>();
for (String boltId : _bolts.keySet()) {
//根据boltId从_bolts中获取到对应的bolt对象
IRichBolt bolt = _bolts.get(boltId);
//设置对应ComponentCommon对象的streams(输出的字段列表以及是否是直接流)属性值
ComponentCommon common = getComponentCommon(boltId, bolt);
/**
* 先将Bolts对象序列化得到数组,再创建Bolt对象,所以所有在StormTopology中Bolts是对象序列化过后得到的字节数组.
*/
boltSpecs.put(boltId, new Bolt(ComponentObject.serialized_java(Utils.javaSerialize(bolt)), common));
}
for (String spoutId : _spouts.keySet()) {
//根据spoutId从_spouts中获取到对应的spout对象
IRichSpout spout = _spouts.get(spoutId);
//设置对应ComponentCommon对象的streams(输出的字段列表以及是否是直接流)
ComponentCommon common = getComponentCommon(spoutId, spout);
/**
* 先将Spout对象序列化得到数组,再创建SpoutSpec对象,所以所有在StormTopology中Spouts是对象序列化过后得到的字节数组.
*/
spoutSpecs.put(spoutId, new SpoutSpec(ComponentObject.serialized_java(Utils.javaSerialize(spout)), common)); }
//将上述所设置的所有组件都封装到StormTopology对象中,最后提交到集群中运行
return new StormTopology(spoutSpecs, boltSpecs, new HashMap<String, StateSpoutSpec>());
}
/**
* 下面几个方法定义了setBolt方法以及它的重载方法
*/
/**
* 在这个topology中定义一个只有单线程并行度的新的bolt
* 其它想要消耗这个bolt的输出的组件会引用这个id
*/
public BoltDeclarer setBolt(String id, IRichBolt bolt) {
return setBolt(id, bolt, null);
} /**
* 为这个topology定义一个指定数量的并行度的bolt
*/
public BoltDeclarer setBolt(String id, IRichBolt bolt, Number parallelism_hint) {
//检测传入的组件id是否唯一
validateUnusedId(id);
//生成common对象
initCommon(id, bolt, parallelism_hint);
_bolts.put(id, bolt);
return new BoltGetter(id);
} public BoltDeclarer setBolt(String id, IBasicBolt bolt) {
return setBolt(id, bolt, null);
} public BoltDeclarer setBolt(String id, IBasicBolt bolt, Number parallelism_hint) {
/**
* 该方法利用BasicBoltExecutor包装(封装)传入的IBasicBolt对象
* 在BasicBoltExecutor中实现了对消息的追踪
*/
return setBolt(id, new BasicBoltExecutor(bolt), parallelism_hint);
}
/**
* 下面几个方法定义了setSpout方法以及它的重载方法
*/
public SpoutDeclarer setSpout(String id, IRichSpout spout) {
return setSpout(id, spout, null);
} public SpoutDeclarer setSpout(String id, IRichSpout spout, Number parallelism_hint) {
//检测输入的id是否唯一,若已经存在将抛出异常
validateUnusedId(id);
/**
* 构建ComponentCommon对象并进行相对应的初始化,最后放入到_commons(在上述中已经定义)
*/
initCommon(id, spout, parallelism_hint);
_spouts.put(id, spout);
return new SpoutGetter(id);
} public SpoutDeclarer setSpout(String id, IControlSpout spout) {
return setSpout(id, spout, null);
} public SpoutDeclarer setSpout(String id, IControlSpout spout, Number parallelism_hint) {
return setSpout(id, new ControlSpoutExecutor(spout), parallelism_hint);
} public BoltDeclarer setBolt(String id, IControlBolt bolt, Number parallelism_hint) {
return setBolt(id, new ControlBoltExecutor(bolt), parallelism_hint);
}
public BoltDeclarer setBolt(String id, IControlBolt bolt) {
return setBolt(id, bolt, null);
} public void setStateSpout(String id, IRichStateSpout stateSpout) {
setStateSpout(id, stateSpout, null);
}
public void setStateSpout(String id, IRichStateSpout stateSpout, Number parallelism_hint) {
validateUnusedId(id);
// TODO: finish
}
/**
* 检测输入的id是否唯一
* @param id
*/
private void validateUnusedId(String id) {
if (_bolts.containsKey(id)) {
throw new IllegalArgumentException("Bolt has already been declared for id " + id);
}
if (_spouts.containsKey(id)) {
throw new IllegalArgumentException("Spout has already been declared for id " + id);
}
if (_stateSpouts.containsKey(id)) {
throw new IllegalArgumentException("State spout has already been declared for id " + id);
}
} private ComponentCommon getComponentCommon(String id, IComponent component) {
ComponentCommon ret = new ComponentCommon(_commons.get(id)); OutputFieldsGetter getter = new OutputFieldsGetter();
component.declareOutputFields(getter);
ret.set_streams(getter.getFieldsDeclaration());
return ret;
}
/**
* 定义了initCommon方法,用来初始化变量CommonentCommon对象,并给类成员变量_commons赋值
* 初始化所做的工作:设置并行度还有一些其它配置
* @param id
* @param component
* @param parallelism
*/
private void initCommon(String id, IComponent component, Number parallelism) {
ComponentCommon common = new ComponentCommon();
//设置消息流的来源及分组方式
common.set_inputs(new HashMap<GlobalStreamId, Grouping>());
if (parallelism != null) {
//设置并行度
common.set_parallelism_hint(parallelism.intValue());
} else {
//如果并行度没有手动设置则默认为1
common.set_parallelism_hint(1);
}
Map conf = component.getComponentConfiguration();
if (conf != null)
//设置组件的配置参数
common.set_json_conf(JSONValue.toJSONString(conf));
_commons.put(id, common);
}
}
从上面TopologyBuilder的类中可以看到这个类提供了创建StormTopology的方法以及一些数据源节点和处理节点的相关设置的方法,
还有就是存储Bolt对象和Spout对象的方法,当然这里关于分组的代码没有写出来。事实上这个类就是用来设置Spout节点和Bolt节点,
并通过分组方式将Spout和Bolt节点连接起来形成拓扑结构的。
Storm/JStorm之TopologyBuilder源码阅读的更多相关文章
- fw: 专访许鹏:谈C程序员修养及大型项目源码阅读与学习
C家最近也有一篇关于如何阅读大型c项目源代码的文章,学习..融合.. -------------------- ref:http://www.csdn.net/article/2014-06-05 ...
- 【原】FMDB源码阅读(三)
[原]FMDB源码阅读(三) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 FMDB比较优秀的地方就在于对多线程的处理.所以这一篇主要是研究FMDB的多线程处理的实现.而 ...
- 【原】FMDB源码阅读(二)
[原]FMDB源码阅读(二) 本文转载请注明出处 -- polobymulberry-博客园 1. 前言 上一篇只是简单地过了一下FMDB一个简单例子的基本流程,并没有涉及到FMDB的所有方方面面,比 ...
- 【原】FMDB源码阅读(一)
[原]FMDB源码阅读(一) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 说实话,之前的SDWebImage和AFNetworking这两个组件我还是使用过的,但是对于 ...
- 【原】AFNetworking源码阅读(六)
[原]AFNetworking源码阅读(六) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 这一篇的想讲的,一个就是分析一下AFSecurityPolicy文件,看看AF ...
- 【原】AFNetworking源码阅读(五)
[原]AFNetworking源码阅读(五) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇中提及到了Multipart Request的构建方法- [AFHTTP ...
- 【原】AFNetworking源码阅读(四)
[原]AFNetworking源码阅读(四) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇还遗留了很多问题,包括AFURLSessionManagerTaskDe ...
- 【原】AFNetworking源码阅读(三)
[原]AFNetworking源码阅读(三) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇的话,主要是讲了如何通过构建一个request来生成一个data tas ...
- 【原】AFNetworking源码阅读(二)
[原]AFNetworking源码阅读(二) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇中我们在iOS Example代码中提到了AFHTTPSessionMa ...
随机推荐
- C#基础知识-XML介绍及基本操作(十)
在讲了一系列的基础文档之后,现在开始讲一些实例.对于一些数据不是很大的程序,或者只是一些配置文件,需要本地存储的,完全可以使用XML代替数据库,因为只是去操作单个文件会比操作数据库要简单很多,在程序中 ...
- “Failed to access IIS metabase”解决方法
原因:IIS没有注册解决办法:在CMD中进入目录C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727,运行aspnet_regiis1.aspnet_regiis ...
- 技术分析 | 新型勒索病毒Petya如何对你的文件进行加密
6月27日晚间,一波大规模勒索蠕虫病毒攻击重新席卷全球. 媒体报道,欧洲.俄罗斯等多国政府.银行.电力系统.通讯系统.企业以及机场都不同程度的受到了影响. 阿里云安全团队第一时间拿到病毒样本,并进行了 ...
- js函数验证方式:验证是否是数字,支持小数,负数
验证 datatype="/^\d+(\.\d+)?$/" validatform验证是否是数字 支持小数点 datatype="d" 貌似支持小数 js函数验 ...
- 探索Windows命令行系列(5):几个实用的命令例解
1.关机命令(shutdown) 2.管理 Windows 服务(sc) 3.管理任务进程(tasklist.taskkill) 4.显示 TCP/IP 配置值(ipconfig) 5.网络诊断工具( ...
- 日常API之百度翻译
百度翻译是什么,可以吃吗?相信很多人都熟悉,它是我们生活中必不可少的一只东东. 但是,百度翻译开发平台只有每月只能翻译200万个字符,多出的要按照49.00/百万字符来算.对于我酱紫的乞丐程序员来说, ...
- eclipse从SVN检出项目之后,项目出错
今天公司把我分配到另一个项目组工作,然后下午使用SVN检出项目,出了问题 1.从SVN检出项目之后,要导入jar包.结果右键项目找不到Build Path,问了大牛才知道是这里的问题,一共四个步骤解决 ...
- Ext TabPanel tabbar添加按钮
tabPanel tabbar添加按钮 this.tabPanel = Ext.create('Ext.tab.Panel', { tabBar:{ items:[{ //组件靠右 xtype: 't ...
- python命令行神器Click
原文: http://www.lengirl.com/code/python-click.html Click 是用Python写的一个第三方模块,用于快速创建命令行.我们知道,Python内置了一个 ...
- mybatis和spring整合
参考文档: http://www.cnblogs.com/jyh317/p/3834142.html http://www.cnblogs.com/xdp-gacl/p/4271627.html ht ...