论文阅读计划1(Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming & An Enforcement of Real Time Scheduling in Spark Streaming & StyleBank: An Explicit Representation for Neural Ima)
Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming[1]
- 简介:雅虎发布的一份各种流处理引擎的基准测试,包括Storm, Flink, Spark Streaming
- 动机:贴近生产环境,使用Kafka和Redis进行数据获取和存储,设计并实现了一个真实的流处理基准。
- 结论:由于只是一篇基准测试报告,其最重要的就是结论。该论文结论如下:Storm, Flink延迟更小,更加接近于真正的“实时”流处理系统。Spark Streaming有更高的吞吐率,同时延迟也最高。Spark Streaming的性能对批处理间隔时间设置(batch duration setting)敏感。
An Enforcement of Real Time Scheduling in Spark Streaming[2]
- 简介:基于Spark Streaming,提出简单有效的调度策略,动态调整批处理间隔的时间窗减少最坏情况下的事件处理时间。
- 动机:Spark Streaming并不能保证实时事件处理,特别是在输入的事件数量不稳定时,其事件处理会发生显著延迟。
- 实时调度执行:思想就是在每次批处理间隔中间,检查事件数量是否到达偏差点,一旦超过,批处理间隔设置为1/2,以立即提交峰值中的事件,进行处理。偏差点定义为\(n_{avg}*(1+\alpha)\),其中\(n_{avg}\)为批处理间隔中间点的平均事件数量;\(\alpha\)为偏差系数,由用户自主定义,论文中定义为0.3。详细算法如下:
StyleBank: An Explicit Representation for Neural Image Style Transfer[3]
简介:一种新颖的风格迁移方法,通过添加StyleBank layer将自编码器和风格学习分离开来,自编码器不存储任何风格信息。这带来几点好处:结构清晰,风格迁移网络不是一个黑盒子;如果希望训练新的风格,可以固定自编码器,只训练StyleBank layer即可,增量学习代价变小。
动机:风格转换是将一种风格从一个图像迁移到另一个图像,与纹理合成密切相关。提出的StyleBank,将自编码器和风格编码剥离,使得:为样式提供了显式的表示;基于区域的样式转化,即可以抽取局部样式信息,进行样式转移;支持多个风格迁移共享一个自编码器。
网络体系结构
图像被编码器\(\varepsilon\)编码获得feature map,然后与由多个卷积组成的StyleBank layer叉乘,然后经过解码器D解码,获得风格化后的图片。编码器为1个stride-1和2个stride-2的卷积层,对称的,解码器为2个stride-1/2和1个stride-1的卷积层。StyleBank layer由训练得到的n个卷积核组成,称之为“风格银行”。T+1的训练方式,T步训练带StyleBank layer的网络,1步训练不含StyleBank layer的网络,这一步尽可能确保自编码器的输入输出一致,以和保证自编码器没有携带Style信息。
备注:另外这篇文章还介绍了在风格迁移中,对StyleBank layer和自编码器的理解,如较大的卷积核可以学得较大的样式元素,值得一读。
[1]Chintapalli S, Dagit D, Evans B, et al. Benchmarking streaming computation engines: Storm, flink and spark streaming[C]//Parallel and Distributed Processing Symposium Workshops, 2016 IEEE International. IEEE, 2016: 1789-1792.
[2]Liao X, Gao Z, Ji W, et al. An enforcement of real time scheduling in Spark Streaming[C]//Green Computing Conference and Sustainable Computing Conference (IGSC), 2015 Sixth International. IEEE, 2015: 1-6.
[3]Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proc. CVPR. 2017, 1(3): 4.
论文阅读计划1(Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming & An Enforcement of Real Time Scheduling in Spark Streaming & StyleBank: An Explicit Representation for Neural Ima)的更多相关文章
- 论文阅读计划2(Deep Joint Rain Detection and Removal from a Single Image)
Deep Joint Rain Detection and Removal from a Single Image[1] 简介:多任务全卷积从单张图片中去除雨迹.本文在现有的模型上,开发了一种多任务深 ...
- 论文阅读(Xiang Bai——【PAMI2017】An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition)
白翔的CRNN论文阅读 1. 论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Seq ...
- Apache Spark源码走读之1 -- Spark论文阅读笔记
欢迎转载,转载请注明出处,徽沪一郎. 楔子 源码阅读是一件非常容易的事,也是一件非常难的事.容易的是代码就在那里,一打开就可以看到.难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问 ...
- BITED数学建模七日谈之三:怎样进行论文阅读
前两天,我和大家谈了如何阅读教材和备战数模比赛应该积累的内容,本文进入到数学建模七日谈第三天:怎样进行论文阅读. 大家也许看过大量的数学模型的书籍,学过很多相关的课程,但是若没有真刀真枪地看过论文,进 ...
- Code Complete 读后总结和新的扩展阅读计划
Code Complete 读后总结和新的扩展阅读计划 用了一年时间终于将代码大全读完了,在这里做一个简单的总结,并安排下一阶段的扩展阅读计划. 1.选择代码大全作为我程序员职业入门的第一本书,我认为 ...
- 论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- 论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- Deep Reinforcement Learning for Dialogue Generation 论文阅读
本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...
- 论文阅读笔记 Word Embeddings A Survey
论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, ...
随机推荐
- SVM明确的解释1__
线性可分问题
笔者:liangdas 出处:简单点儿,通俗点儿,机器学习 http://blog.csdn.net/liangdas/article/details/44251469 引言: 1995年Cor ...
- 【33.00%】【vijos P1002】过河
描述 在河上有一座独木桥,一只青蛙想沿着独木桥从河的一侧跳到另一侧.在桥上有一些石子,青蛙很讨厌踩在这些石子上.由于桥的长度和青蛙一次跳过的距离都是正整数,我们可以把独木桥上青蛙可能到达的点看成数轴上 ...
- 图像块的访问(填充 padding,步长 stride,窗 Window/kernel/filter)
无填充是有填充的特例(填充为 1). utilities(matlab)-- 图像分块(image2cols.cols2image)(未填充) 1. 一个图像块 ⇒ 返回一个值 输出矩阵的大小: ou ...
- WPF的逻辑树与视觉树(2)Visual容器
原文:WPF的逻辑树与视觉树(2)Visual容器 一.摘要 虽然我们平时几乎不会从该类派生,但要想了解视觉树就必须要了解Visual,Visual是一个基本抽象类,继承自DependencyOb ...
- WPF依赖属性(续)(2)依赖属性与附加属性的区别
原文:WPF依赖属性(续)(2)依赖属性与附加属性的区别 接上篇,感谢各位的评论,都是认为依赖属性的设计并不是为了节省内存,从大的方面而讲是如此.样式,数据绑定,动画样样都离不开它.这篇 ...
- Coremicro Reconfigurable Embedded Smart Sensor Node
A Coremicro Reconfigurable Embedded Smart Sensor Node has the capability of hosting intelligent algo ...
- c语言bit倒置最好的算法-离msb-lsb至lsb-msb
问题 什么是例如最好的算法,下面的转换? 0010 0000 => 0000 0100 从详细的转换MSB->LSB至LSB->MSB, 所有的Bit必须扭转,着.这并非字节顺序的交 ...
- C# WPF 实现鼠标固定在指定范围内运动
原文:C# WPF 实现鼠标固定在指定范围内运动 一.背景: 需要实现带有三个屏幕,三个屏幕分别显示窗体,但鼠标只能在主窗体中运动,不能移动到其他的两个附屏中. 二.实现: 具体实现使用的是u ...
- Python 的神奇方法指南
简介 有关 Python 内编写类的各种技巧和方法(构建和初始化.重载操作符.类描述.属性访问控制.自定义序列.反射机制.可调用对象.上下文管理.构建描述符对象.Pickling). 你可以把它当作一 ...
- WPF字体图标——FontAwesom
原文:WPF字体图标--FontAwesom 版权声明:本文为[CSDN博主:松一160]原创文章,未经允许不得转载. https://blog.csdn.net/songyi160/article/ ...