StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks  本文将利用 GANs 进行高质量图像生成,分为两个阶段进行,coarse to fine 的过程.据说可以生成 256*256 的高清图像. 基于文本生成对应图像的工作已经有了,比如说 Attribute2Image,以及 最开始的基于文本生成图像的文章等等. Stacked Generated Adver…

Introduction: Deconvolution;   Computational costs; Strided convolutional nets; Markov patches; 1. Q: The task of texture synthesis have considerable computational costs becuase of a numerical deconvolution in previous work. 2. A: the author propose…

论文地址:MelGAN:条件波形合成的生成对抗网络 代码地址:https://github.com/descriptinc/melgan-neurips 音频实例:https://melgan-neurips.github.io/ 配有MelGAN解码器的音乐翻译网络:https://www.descript.com/overdub 摘要 以前的工作(Donahue等人,2018a:Engel等人,2019a)已经发现用GAN生成相干的原始音频波形是一个挑战.在本文中,我们证明了通过引入一系列结…

AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks 笔记 这篇文章的任务是 "根据文本描述" 生成图像.以往的常规做法是将整个句子编码为condition向量,与随机采样的高斯噪音\(z\)进行拼接,经过卷积神经网络(GAN,变分自编码等)来上采样生成图像.这篇文章发现的问题是:仅通过编码整个句子去生成图像会忽略掉一些细粒度的信息,而这些细粒度的信…

出处:arxiv 2016 尚未出版 Motivation 根据文字描述来合成相片级真实感的图片是一项极具挑战性的任务.现有的生成手段,往往只能合成大体的目标,而丢失了生动的细节信息.StackGAN分两步来完成生成目标:Stage-I从文字中生成低分辨率的大体框架和基本色彩,Stage-II以文字和Stage-I中生成的基本框架图为输入,生成高分辨率的具体细节.运用StackGAN可以生成当前state_of_art的256*256分辨率的文字转换图像.训练数据集采用了CUB and Oxfo…

Generative Adversarial Text to Image Synthesis ICML 2016  摘要:本文将文本和图像练习起来,根据文本生成图像,结合 CNN 和 GAN 来有效的进行无监督学习. Attribute Representation: 是一个非常具有意思的方向.由图像到文本,可以看做是一个识别问题:从文本到图像,则不是那么简单. 因为需要解决这两个小问题: 1. learning a text feature representation that captur…

Video Frame Synthesis using Deep Voxel Flow 论文笔记 arXiv 摘要:本文解决了模拟新的视频帧的问题,要么是现有视频帧之间的插值,要么是紧跟着他们的探索.这个问题是非常具有挑战性的,因为,视频的外观和运动是非常复杂的.传统 optical-flow-based solutions 当 flow estimation 失败的时候,就变得非常困难:而最新的基于神经网络的方法直接预测像素值,经常产生模糊的结果. 于是,在此motivation的基础上,作者…

ABSTRACT 在本文中,我们探讨了从线条生成逼真的人脸图像的任务.先前的基于条件生成对抗网络(cGANs)的方法已经证明,当条件图像和输出图像共享对齐良好的结构时,它们能够生成视觉上可信的图像.然而,这些模型无法合成具有完整定义结构的人脸图像,例如眼睛.鼻子.嘴巴等,特别是当条件线图缺少一个或多个部分时.为了解决这一问题,我们提出了一个条件自注意生成对抗网络(CSAGAN).我们在cGANs中引入了条件自注意机制来捕获面部不同区域之间的长范围依赖关系.我们还建立了一个多尺度判别器.大规模判别…

Variational Capsules for Image Analysis and Synthesis  2018-07-16 16:54:36 Paper: https://arxiv.org/pdf/1807.04099.pdf 随着深度学习的崛起,已经有很多不同的应用领域都取得了巨大的成功,其中就包括:image analysis 以及 synthesis. Image analysis 通常是指:用一个判别性模型从图像中去抽取信息: Image synthesis 是指:用产生式模型…

Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. "High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs", in CVPR, 2018. 摘要: 我们提出了一个新方法,使用CGANs从语义标签图生成高分辨率的逼真图像.CGANs已经被应用在多种场景,但是其结果…