论文阅读计划1(Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming & An Enforcement of Real Time Scheduling in Spark Streaming & StyleBank: An Explicit Representation for Neural Ima)
Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming[1]
- 简介:雅虎发布的一份各种流处理引擎的基准测试,包括Storm, Flink, Spark Streaming
- 动机:贴近生产环境,使用Kafka和Redis进行数据获取和存储,设计并实现了一个真实的流处理基准。
- 结论:由于只是一篇基准测试报告,其最重要的就是结论。该论文结论如下:Storm, Flink延迟更小,更加接近于真正的“实时”流处理系统。Spark Streaming有更高的吞吐率,同时延迟也最高。Spark Streaming的性能对批处理间隔时间设置(batch duration setting)敏感。
An Enforcement of Real Time Scheduling in Spark Streaming[2]
- 简介:基于Spark Streaming,提出简单有效的调度策略,动态调整批处理间隔的时间窗减少最坏情况下的事件处理时间。
- 动机:Spark Streaming并不能保证实时事件处理,特别是在输入的事件数量不稳定时,其事件处理会发生显著延迟。
- 实时调度执行:思想就是在每次批处理间隔中间,检查事件数量是否到达偏差点,一旦超过,批处理间隔设置为1/2,以立即提交峰值中的事件,进行处理。偏差点定义为\(n_{avg}*(1+\alpha)\),其中\(n_{avg}\)为批处理间隔中间点的平均事件数量;\(\alpha\)为偏差系数,由用户自主定义,论文中定义为0.3。详细算法如下:
StyleBank: An Explicit Representation for Neural Image Style Transfer[3]
简介:一种新颖的风格迁移方法,通过添加StyleBank layer将自编码器和风格学习分离开来,自编码器不存储任何风格信息。这带来几点好处:结构清晰,风格迁移网络不是一个黑盒子;如果希望训练新的风格,可以固定自编码器,只训练StyleBank layer即可,增量学习代价变小。
动机:风格转换是将一种风格从一个图像迁移到另一个图像,与纹理合成密切相关。提出的StyleBank,将自编码器和风格编码剥离,使得:为样式提供了显式的表示;基于区域的样式转化,即可以抽取局部样式信息,进行样式转移;支持多个风格迁移共享一个自编码器。
网络体系结构
图像被编码器\(\varepsilon\)编码获得feature map,然后与由多个卷积组成的StyleBank layer叉乘,然后经过解码器D解码,获得风格化后的图片。编码器为1个stride-1和2个stride-2的卷积层,对称的,解码器为2个stride-1/2和1个stride-1的卷积层。StyleBank layer由训练得到的n个卷积核组成,称之为“风格银行”。T+1的训练方式,T步训练带StyleBank layer的网络,1步训练不含StyleBank layer的网络,这一步尽可能确保自编码器的输入输出一致,以和保证自编码器没有携带Style信息。
备注:另外这篇文章还介绍了在风格迁移中,对StyleBank layer和自编码器的理解,如较大的卷积核可以学得较大的样式元素,值得一读。
[1]Chintapalli S, Dagit D, Evans B, et al. Benchmarking streaming computation engines: Storm, flink and spark streaming[C]//Parallel and Distributed Processing Symposium Workshops, 2016 IEEE International. IEEE, 2016: 1789-1792.
[2]Liao X, Gao Z, Ji W, et al. An enforcement of real time scheduling in Spark Streaming[C]//Green Computing Conference and Sustainable Computing Conference (IGSC), 2015 Sixth International. IEEE, 2015: 1-6.
[3]Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proc. CVPR. 2017, 1(3): 4.
论文阅读计划1(Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming & An Enforcement of Real Time Scheduling in Spark Streaming & StyleBank: An Explicit Representation for Neural Ima)的更多相关文章
- 论文阅读计划2(Deep Joint Rain Detection and Removal from a Single Image)
Deep Joint Rain Detection and Removal from a Single Image[1] 简介:多任务全卷积从单张图片中去除雨迹.本文在现有的模型上,开发了一种多任务深 ...
- 论文阅读(Xiang Bai——【PAMI2017】An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition)
白翔的CRNN论文阅读 1. 论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Seq ...
- Apache Spark源码走读之1 -- Spark论文阅读笔记
欢迎转载,转载请注明出处,徽沪一郎. 楔子 源码阅读是一件非常容易的事,也是一件非常难的事.容易的是代码就在那里,一打开就可以看到.难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问 ...
- BITED数学建模七日谈之三:怎样进行论文阅读
前两天,我和大家谈了如何阅读教材和备战数模比赛应该积累的内容,本文进入到数学建模七日谈第三天:怎样进行论文阅读. 大家也许看过大量的数学模型的书籍,学过很多相关的课程,但是若没有真刀真枪地看过论文,进 ...
- Code Complete 读后总结和新的扩展阅读计划
Code Complete 读后总结和新的扩展阅读计划 用了一年时间终于将代码大全读完了,在这里做一个简单的总结,并安排下一阶段的扩展阅读计划. 1.选择代码大全作为我程序员职业入门的第一本书,我认为 ...
- 论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- 论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- Deep Reinforcement Learning for Dialogue Generation 论文阅读
本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...
- 论文阅读笔记 Word Embeddings A Survey
论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, ...
随机推荐
- BZOJ1010玩具装箱 - 斜率优化dp
传送门 题目分析: 设\(f[i]\)表示装前i个玩具的花费. 列出转移方程:\[f[i] = max\{f[j] + ((i - (j + 1)) + sum[i] - sum[j] - L))^2 ...
- cordova 打包出错 Android SDK not found Android target: not installed
原文:cordova 打包出错 Android SDK not found Android target: not installed 今天用cordova打包的时候报Android SDK not ...
- express笔记
1.req.query: 获取get请求的查询字符串对象 2.req.body: 获取post请求的查询字符串对象,要使用该方法需要先使用body-parser中间件,app.use(bodyPars ...
- QT5.5.1 为Qtcreator 编译的程序添加管理员权限
QT版本:5.5.1 QT Creator QT Creator 编译出来的程默认是不带管理员权限的.有时是需要管理员权限. 第一步: 创建文件 uac.manifest 添加如下代码 <?xm ...
- vue项目 下载表格 java后台返回的是信息流表格如何下载解决乱码
主要是在请求参数后面加上{responseType: 'blob'}或者arrayBuffer this.$http.get(this.api.export, { params: this.info, ...
- winform - FixedDialog
可以设置form的属性: 窗口样式: MaximizeBox : false 去掉 方法 按钮 MinimizeBox : false 去掉 缩小到任务栏 的按钮 禁止 ...
- hudson搭建经验总结(三)
作者:朱金灿 来源:http://blog.csdn.net/clever101 在创建hudson账户和分配权限时出错,当单击save按钮时出现 HTTP Status 500 - type Exc ...
- python爬虫 BeautifulSoup
简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据. Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码. Bea ...
- 关于ExpandableListView的一个小例子
喜欢显示好友QQ那样的列表,可以展开,可以收起,在android中,以往用的比较多的是listview,虽然可以实现列表的展示,但在某些情况下,我们还是希望用到可以分组并实现收缩的列表,那就要用到an ...
- 抛砖引玉 【镜像控件】 WPF实现毛玻璃控件不要太简单
原文:抛砖引玉 [镜像控件] WPF实现毛玻璃控件不要太简单 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Vblegend_2013/articl ...