Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming[1]

  • 简介:雅虎发布的一份各种流处理引擎的基准测试,包括Storm, Flink, Spark Streaming
  • 动机:贴近生产环境,使用Kafka和Redis进行数据获取和存储,设计并实现了一个真实的流处理基准。
  • 结论:由于只是一篇基准测试报告,其最重要的就是结论。该论文结论如下:Storm, Flink延迟更小,更加接近于真正的“实时”流处理系统。Spark Streaming有更高的吞吐率,同时延迟也最高。Spark Streaming的性能对批处理间隔时间设置(batch duration setting)敏感。

An Enforcement of Real Time Scheduling in Spark Streaming[2]

  • 简介:基于Spark Streaming,提出简单有效的调度策略,动态调整批处理间隔的时间窗减少最坏情况下的事件处理时间。
  • 动机:Spark Streaming并不能保证实时事件处理,特别是在输入的事件数量不稳定时,其事件处理会发生显著延迟。
  • 实时调度执行:思想就是在每次批处理间隔中间,检查事件数量是否到达偏差点,一旦超过,批处理间隔设置为1/2,以立即提交峰值中的事件,进行处理。偏差点定义为\(n_{avg}*(1+\alpha)\),其中\(n_{avg}\)为批处理间隔中间点的平均事件数量;\(\alpha\)为偏差系数,由用户自主定义,论文中定义为0.3。详细算法如下:

StyleBank: An Explicit Representation for Neural Image Style Transfer[3]

  • 简介:一种新颖的风格迁移方法,通过添加StyleBank layer将自编码器和风格学习分离开来,自编码器不存储任何风格信息。这带来几点好处:结构清晰,风格迁移网络不是一个黑盒子;如果希望训练新的风格,可以固定自编码器,只训练StyleBank layer即可,增量学习代价变小。

  • 动机:风格转换是将一种风格从一个图像迁移到另一个图像,与纹理合成密切相关。提出的StyleBank,将自编码器和风格编码剥离,使得:为样式提供了显式的表示;基于区域的样式转化,即可以抽取局部样式信息,进行样式转移;支持多个风格迁移共享一个自编码器。

  • 网络体系结构

    图像被编码器\(\varepsilon\)编码获得feature map,然后与由多个卷积组成的StyleBank layer叉乘,然后经过解码器D解码,获得风格化后的图片。编码器为1个stride-1和2个stride-2的卷积层,对称的,解码器为2个stride-1/2和1个stride-1的卷积层。StyleBank layer由训练得到的n个卷积核组成,称之为“风格银行”。T+1的训练方式,T步训练带StyleBank layer的网络,1步训练不含StyleBank layer的网络,这一步尽可能确保自编码器的输入输出一致,以和保证自编码器没有携带Style信息。

  • 备注:另外这篇文章还介绍了在风格迁移中,对StyleBank layer和自编码器的理解,如较大的卷积核可以学得较大的样式元素,值得一读。

[1]Chintapalli S, Dagit D, Evans B, et al. Benchmarking streaming computation engines: Storm, flink and spark streaming[C]//Parallel and Distributed Processing Symposium Workshops, 2016 IEEE International. IEEE, 2016: 1789-1792.

[2]Liao X, Gao Z, Ji W, et al. An enforcement of real time scheduling in Spark Streaming[C]//Green Computing Conference and Sustainable Computing Conference (IGSC), 2015 Sixth International. IEEE, 2015: 1-6.

[3]Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proc. CVPR. 2017, 1(3): 4.

论文阅读计划1(Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming & An Enforcement of Real Time Scheduling in Spark Streaming & StyleBank: An Explicit Representation for Neural Ima)的更多相关文章

  1. 论文阅读计划2(Deep Joint Rain Detection and Removal from a Single Image)

    Deep Joint Rain Detection and Removal from a Single Image[1] 简介:多任务全卷积从单张图片中去除雨迹.本文在现有的模型上,开发了一种多任务深 ...

  2. 论文阅读(Xiang Bai——【PAMI2017】An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition)

    白翔的CRNN论文阅读 1.  论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Seq ...

  3. Apache Spark源码走读之1 -- Spark论文阅读笔记

    欢迎转载,转载请注明出处,徽沪一郎. 楔子 源码阅读是一件非常容易的事,也是一件非常难的事.容易的是代码就在那里,一打开就可以看到.难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问 ...

  4. BITED数学建模七日谈之三:怎样进行论文阅读

    前两天,我和大家谈了如何阅读教材和备战数模比赛应该积累的内容,本文进入到数学建模七日谈第三天:怎样进行论文阅读. 大家也许看过大量的数学模型的书籍,学过很多相关的课程,但是若没有真刀真枪地看过论文,进 ...

  5. Code Complete 读后总结和新的扩展阅读计划

    Code Complete 读后总结和新的扩展阅读计划 用了一年时间终于将代码大全读完了,在这里做一个简单的总结,并安排下一阶段的扩展阅读计划. 1.选择代码大全作为我程序员职业入门的第一本书,我认为 ...

  6. 论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework

    作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...

  7. 论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center

    作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...

  8. Deep Reinforcement Learning for Dialogue Generation 论文阅读

    本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...

  9. 论文阅读笔记 Word Embeddings A Survey

    论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, ...

随机推荐

  1. 【u240】棋子放置

    Time Limit: 1 second Memory Limit: 128 MB 小虎刚刚上了幼儿园,老师让他做一个家庭作业:首先画3行格子,第一行有三个格子,第二行有2个格子,第三行有1个格子. ...

  2. freemarker自己定义标签(一)

    freemarker自己定义标签 1.自己定义标签说明 宏变量存储模板片段能够被用作自己定义指令macro 2.演示样例说明 <html> <head> <meta ht ...

  3. uiwebview的常用属性1-故事版

  4. Erlang游戏开发-协议

    Erlang游戏开发-协议 选择什么协议? 协议包含通讯协议和数据格式. 通讯协议 通讯协议目前常用的是:HTTP 和TCP .其有各自的特点根据游戏的特点而进行选择. HTTP HTTP比较成熟,使 ...

  5. 使用RpcLite构建SOA/Web服务(Full .Net Framework)

    使用RpcLite构建SOA/Web服务(Full .Net Framework) SOA框架系列 1. 使用RpcLite构建SOA/Web服务 2. 使用RpcLite构建SOA/Web服务(Fu ...

  6. P2P理财友情提示

    最近2年,P2P理财非常火,但是出现的问题也是越来越频繁. 2014年12月,据说有70多家平台出现了问题,加上以前的,一共有300多家了,出现问题的占总比有20%~30%了. 这个真的是非常的可怕. ...

  7. List&lt;Map&lt;String, String&gt;&gt; 开启 Map&lt;String, List&lt;String&gt;&gt;

    将List变成Map结构体,下面的文字是没有水平! 写作方法传送前土壤很长一段时间.我不知道有没有好的解决办法.我们也希望提供! Map<String, String> map1 = ne ...

  8. 浅谈Linux下各种压缩 解压命令和压缩比率对比

    Linux下压缩.解压命令五花八门,不像在windows下一个winrar打遍天下无敌手,清一色的.rar .zip格式. 比如,Linux下常用的tar tar.gz tar.bz2 .Z等等不一而 ...

  9. MyCat负载均衡 下篇

    MyCat负载均衡 下篇   之前在 一步一步在Windows中使用MyCat负载均衡 上篇 中已经讲了如何配置出MyCat.下面讲其相关的使用. 五.配置MyCat-eye 对于MyCat监控官网还 ...

  10. C# 使用外部别名

    原文:C# 使用外部别名 版权声明:博客已迁移到 http://lindexi.gitee.io 欢迎访问.如果当前博客图片看不到,请到 http://lindexi.gitee.io 访问博客.本文 ...