【Generalization and Equilibrium in Generative Adversarial Nets】的更多相关文章

Generalization and Equilibrium in Generative Adversarial Nets

Paper link: https://arxiv.org/abs/1703.00573 Blog link: http://www.offconvex.org/2017/03/30/GANs2/ Github: https://github.com/PrincetonML/MIX-plus-GANs 作者指出原先的工作都假设Discriminator有无限的表示能力,但是其实当Discriminator表示能力有限的时候,Generator只需要拟合一部分训练数据就能把损失函数降到比较小的值.…

Generative Adversarial Nets[BEGAN]

本文来自<BEGAN: Boundary Equilibrium Generative Adversarial Networks>,时间线为2017年3月.是google的工作. 作者提出一个新的均衡执行方法,该方法与从Wasserstein距离导出的loss相结合,用于训练基于自动编码器的GAN.该方法在训练中会平衡生成器和判别器.另外,它提供一个新的近似收敛测度,快而且稳定,且结果质量高.同时作者提出一种控制图像多样性和可视化质量之间权衡的方法.作者专注于图像生成任务,即使在更高分辨率下也…

Generative Adversarial Nets[content]

0. Introduction 基于纳什平衡,零和游戏,最大最小策略等角度来作为GAN的引言 1. GAN GAN开山之作 图1.1 GAN的判别器和生成器的结构图及loss 2. Conditional GAN 图2.1 CGAN的目标函数 图2.2 CGAN的判别器和生成器的结构图及loss 图2.2来自这里,图2.3是来自论文内部,两者在原理结构上没任何差别. 图2.3 CGAN结构图 如图2.3所示,CGAN相比于GAN在于,其输入部分增加了额外的信息,且此额外信息是固定的,如图像类别或…

论文笔记之：Conditional Generative Adversarial Nets

Conditional Generative Adversarial Nets arXiv 2014   本文是 GANs 的拓展,在产生 和 判别时,考虑到额外的条件 y,以进行更加"激烈"的对抗,从而达到更好的结果. 众所周知,GANs 是一个 minmax 的过程: 而本文通过引入 条件 y,从而将优化的目标函数变成了: 下图给出了条件产生式对抗网络的结构示意图: 是的,整个过程就是看起来的这么简单,粗暴,有效. 实验部分,作者在 Mnist 数据集上进行了实验: 然后是,给图像…

（转）Deep Learning Research Review Week 1: Generative Adversarial Nets

Adit Deshpande CS Undergrad at UCLA ('19) Blog About Resume Deep Learning Research Review Week 1: Generative Adversarial Nets Starting this week, I’ll be doing a new series called Deep Learning Research Review. Every couple weeks or so, I’ll be summa…

论文笔记之：Generative Adversarial Nets

Generative Adversarial Nets NIPS 2014  摘要:本文通过对抗过程,提出了一种新的框架来预测产生式模型,我们同时训练两个模型:一个产生式模型 G,该模型可以抓住数据分布:还有一个判别式模型 D 可以预测来自训练样本 而不是 G 的样本的概率．训练 G 的目的是让 D 尽可能的犯错误,让其无法判断一个图像是产生的,还是来自训练样本．这个框架对应了一个 minimax two-player game. 也就是,一方得势,必然对应另一方失势,不存在两方共赢的局面,这个…

Generative Adversarial Nets[CycleGAN]

本文来自<Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks>,时间线为2017年3月.本文算是GAN的一个很大的应用里程点,其可以用在风格迁移,目标形变,季节变换,相片增强等等. 1 引言 如图1所示,本文提出的方法可以进行图像风格的变化,色调的变化等等.该问题可以看成是image-to-image变换,将给定场景下的一张图片表示\(x\)变换到另一个图片\(y\),例如:灰度图片到颜…

Generative Adversarial Nets[CAAE]

本文来自<Age Progression/Regression by Conditional Adversarial Autoencoder>,时间线为2017年2月. 该文很有意思,是如何通过当前图片生成你不同年龄时候的样子. 假设给你一张人脸(没有告诉你多少岁)和一堆网上爬取的人脸图像(包含不同年龄的标注人脸但不一定配对),你能给出那一张人脸80岁或者5岁时候的样子么.当然回答不能,当前现有的人脸年龄研究都试图学习一个年龄组间的变换,因此需要配对的样本和标注的询问图片.在本文中,作者从一个…

Generative Adversarial Nets[Wasserstein GAN]

本文来自<Wasserstein GAN>,时间线为2017年1月,本文可以算得上是GAN发展的一个里程碑文献了,其解决了以往GAN训练困难,结果不稳定等问题. 1 引言 本文主要思考的是半监督学习.当我们说学习概率分布,典型的思维是学习一个概率密度.这通常是通过定义一个概率密度的参数化族\((P_{\theta})_{\theta\in R^d}\),然后基于样本最大似然:如果当前有真实样本\(\{x^{(i)}\}_{i=1}^m\),那么是问题转换成: \[\underset{\thet…

Generative Adversarial Nets[Pre-WGAN]

本文来自<towards principled methods for training generative adversarial networks>,时间线为2017年1月,第一作者为WGAN的作者,Martin Arjovsky. 下面引用自令人拍案叫绝的Wasserstein GAN 要知道自从2014年Ian Goodfellow提出以来,GAN就存在着训练困难.生成器和判别器的loss无法指示训练进程.生成样本缺乏多样性等问题.从那时起,很多论文都在尝试解决,但是效果不尽人意,比…

Generative Adversarial Nets[pix2pix]

本文来自<Image-to-Image Translation with Conditional Adversarial Networks>,是Phillip Isola与朱俊彦等人的作品,时间线为2016年11月. 作者调研了条件对抗网络,将其作为一种通用的解决image-to-image变换方法.这些网络不止用来学习从输入图像到输出图像的映射,同时学习一个loss函数去训练这个映射.这让传统需要各种不同loss函数的问题变成了可以采用统一方法来解决成为可能.作者发现这种方法在基于标签map…

Generative Adversarial Nets[AAE]

本文来自<Adversarial Autoencoders>,时间线为2015年11月.是大神Goodfellow的作品.本文还有些部分未能理解完全,不过代码在AAE_LabelInfo,这里实现了文中2.3小节,当然实现上有点差别,其中one-hot并不是11个类别,只是10个类别. 本文提出"对抗自动编码器(AAE)",其本质上是自动编码器和GAN架构的合体,通过将AE隐藏层编码向量的聚合后验与任意先验分布进行匹配完成变分推论(variational inference…

Generative Adversarial Nets(原生GAN学习)

学习总结于国立台湾大学 :李宏毅老师 Author: Ian Goodfellow • Paper: https://arxiv.org/abs/1701.00160 • Video: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems-Conference/Neural-Information-Processing-Systems-Conference-NIPS-2016/Generative-Adver…

论文笔记之：SeqGAN: Sequence generative adversarial nets with policy gradient

SeqGAN: Sequence generative adversarial nets with policy gradient  AAAI-2017 Introduction :  产生序列模拟数据来模仿 real data 是无监督学习中非常重要的课题之一.最近, RNN/LSTM 框架在文本生成上取得了非常好的效果,最常见的训练方法是:给定上一个 token,推测当前 token 的最大化似然概率.但是最大似然方法容易受到 “exposure bias” 的干扰:the model ge…

GAN（Generative Adversarial Nets）的发展

GAN(Generative Adversarial Nets),产生式对抗网络 存在问题: 1.无法表示数据分布 2.速度慢 3.resolution太小,大了无语义信息 4.无reference 5.intend to generate same image 6.梯度消失 论文摘要: 1.Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing S…

Generative Adversarial Nets(GAN Tensorflow)

Generative Adversarial Nets(简称GAN)是一种非常流行的神经网络. 它最初是由Ian Goodfellow等人在NIPS 2014论文中介绍的. 这篇论文引发了很多关于神经网络对抗性训练的兴趣,论文的引用次数已接近2700+. 许多变形的GAN出现了:DCGAN,Sequence-GAN,LSTM-GAN等.在NIPS 2016中,甚至会有整个专门针对对抗训练的研讨会! 首先,让我们回顾一下这篇论文的要点. 之后,我们将尝试使用TensorFlow和MNIST数据实现…

一文读懂对抗生成学习(Generative Adversarial Nets)[GAN]

一文读懂对抗生成学习(Generative Adversarial Nets)[GAN] 0x00 推荐论文 https://arxiv.org/pdf/1406.2661.pdf 0x01什么是gan Generative model G用来生成样本 Discriminative model D用来区别G生成样本的真假 G努力的方向是生成出以假乱真的样本,让D认为这样本是人类给的而不是G创造的,D则相反. 一个更加形象的比喻 小时候老师让试卷上家长签字,以确保家长看过我那卑微的成绩.于是乎我尽…

AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets

目录 概 主要内容 符号说明 Original Generator Transfer the Generator Wang X., He K., Guo C., Weinberger K., Hopcroft H., AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets. arXiv preprint, arXiv: 1904.00783, 2019. 概 用GA…

Generative Adversarial Nets (GAN)

目录 目标 框架 理论 数值实验 代码 Generative Adversarial Nets 这篇文章,引领了对抗学习的思想,更加可贵的是其中的理论证明,证明很少却直击要害. 目标 GAN,译名生成对抗网络,目的就是训练一个网络来拟合数据的分布,以前的方法,类似高斯核,Parzen窗等都可以用来估计(虽然不是很熟). GAN有俩个网络,一个是G(z)生成网络,和D(x)判别网络, 其中\(z\)服从一个随机分布,而\(x\)是原始数据, \(z\)服从一个随机分布,是很重要的一点,假设\(\h…

Conditional Generative Adversarial Nets

目录 引 主要内容 代码 Mirza M, Osindero S. Conditional Generative Adversarial Nets.[J]. arXiv: Learning, 2014. @article{mirza2014conditional, title={Conditional Generative Adversarial Nets.}, author={Mirza, Mehdi and Osindero, Simon}, journal={arXiv: Learning…

"Generative Adversarial Nets" Notes

- Ian J.Goodfellow 中文翻译:https://blog.csdn.net/wspba/article/details/54577236 代码实现:https://github.com/devnag/pytorch-generative-adversarial-networks/blob/master/gan_pytorch.py Abstract G:恢复训练样本的分布 D:在任何分布下产生错误的概率都是1/2 1. Introduction 深度学习的目标是用丰富的层次模型(…

Generative Adversarial Nets[Introduction]

0. 背景 通过阅读书籍<Pro Deep Learning with TensorFlow: A Mathematical Approach to Advanced Artificial Intelligence in Python>的第6章第4节的<Generative Adversarial Networks>,知道了不少前置知识. GAN中蕴含了基于游戏论中的零和(zero-sum)游戏的理论.GAN有2个网络,一个生成器(G)和一个判别器(D),两者互相竞争.生成器为了愚…

Generative Adversarial Nets[iGAN]

本文来自<Generative Visual Manipulation on the Natural Image Manifold>,是大神Jun-Yan Zhu在2016年9月的作品. 0 引言 视觉交流在现在的社会发展中一直处于技术不够强大的现状,比如你想要去商场买个衣服,你想要告知导购衣服的颜色,款式,花纹等等,而最后导购拿出来的衣服却并不是你心中所想,这时候如果是个画家,他可以将自己所思所想画出来让导购看,而非画家就很难将心中所想进行可视化了.然而Photoshop虽然强大,可是能够精…

Generative Adversarial Nets[Vanilla]

引言中已经较为详细的介绍了GAN的理论基础和模型本身的原理.这里主要是研读Goodfellow的第一篇GAN论文. 0. 对抗网络 如引言中所述,对抗网络其实就是一个零和游戏中的2人最小最大游戏,主要就是为了处理下面的函数\(V(G,D)\): 在实现过程中,如果将D和G都写入同一个循环中,即迭代一次D,迭代一次G,这种情况会让在有限的数据集基础上会导致过拟合.所以Goodfellow推荐:先训练D模型K步,然后再训练G一步.这样可以让D很好的接近最优解,并且让G改变的足够慢. 图0.1 GAN…

Generative Adversarial Nets[Improved GAN]

0.背景 Tim Salimans等人认为之前的GANs虽然可以生成很好的样本,然而训练GAN本质是找到一个基于连续的,高维参数空间上的非凸游戏上的纳什平衡.然而不幸的是,寻找纳什平衡是一个十分困难的问题.在现有的针对特定场景算法中,GAN的实现通常是使用梯度下降的方法去训练GAN网络的目标函数,意在找到lost函数最低值而已,而不是真的找零和游戏中的纳什平衡.且目标函数本身是非凸函数,其中是连续参数且参数空间维度很高,所以如果真的去搜寻纳什平衡,那么这些算法都是无法收敛的. 当游戏中每个人都认…

Generative Adversarial Nets[EBGAN]

0. 背景 Junbo Zhao等人提出的"基于能量的GAN"网络,其将判别器视为一个能量函数而不需要明显的概率解释,该函数可以是一个可训练的损失函数.能量函数是将靠近真实数据流形的区域视为低能量区域,而远离的视为高能量区域.和"概率GAN"相似,训练中,生成器会尽可能生成最小能量时候的伪造样本,而此时判别器会被赋值为高能量(因为是伪造的).通过将判别器看成一个能量函数,就可以使用更多更广泛的网络结构和损失函数,而不只是logistic输出的二值分类器.其中Junb…

Generative Adversarial Nets[LSGAN]

0 背景 在这之前大家在训练GAN的时候,使用的loss函数都是sigmoid_cross_entropy_loss函数,然而xudon mao等人发现当使用伪造样本去更新生成器(且此时伪造样本也被判别器判为对的时候)会导致梯度消失的问题.虽然此时伪造样本仍然离真实样本分布距离还挺远.也就是之前的损失函数虽然可以判别是真假,可是对于人肉眼来说,还是违和感太强了,也就是生成的图像质量骗得过机器,却骗不过人. 图0.1 两种损失函数的不同行为 上图中加号表示假样本,圈表示真样本,五角星表示用于更新生…

Generative Adversarial Nets[Theory&MSE]

本文来自<deep multi-scale video prediction beyond mean square error>,时间线为2015年11月,LeCun等人的作品. 从一个视频序列中预测未来的图像帧涉及到构建一个内部表征,该表征能够对准确对图片帧演化(如图像内容和动态)进行建模.这就是为什么像素空间的视频预测主要是通过无监督特征学习来完成.虽然光流在CV领域已经研究的很成熟了,却很少用在未来图像帧预测中.许多视觉应用可以通过视频的下一帧来获取信息,且不需要对每个像素轨迹进行追踪.…

Generative Adversarial Nets

1. 基本思想 两个模型: 判别器:预测从生成器生成的样本的概率 生成器:生成样本时,最大化使得判别器发生错误的概率 最后得到唯一解:使得生成器生成的样本输入到判别器中,得到的概率全是1/2.     // 伪装者无法被检查出来 判别器和生成器都是多层的,都可以通过反向传播的方式进行训练. 在训练期间和生成样本期间都不需要马尔科夫链.展开近似推理网络. 背景: 反向传播 / Dropout算法 / 分段线性单元    参考文献17/8/9看一下 由于在最大似然估计和相关策略中出现的许多难以处理的…

Wasserstein Generative Adversarial Nets (WGAN ) and CGAN

GAN目前是机器学习中非常受欢迎的研究方向.主要包括有两种类型的研究,一种是将GAN用于有趣的问题,另一种是试图增加GAN的模型稳定性. 事实上,稳定性在GAN训练中是非常重要的.起初的GAN模型在训练中存在一些问题,e.g., 模式塌陷(生成器演化成非常窄的分布,只覆盖数据分布中的单一模式).模式塌陷的含义是发生器只能产生非常相似的样本(例如MNIST中的单个数字),即所产生的样本不是多样的.这当然违反了GAN的初衷. GAN中的另一个问题是没有指很好的指标或度量说明模型的收敛性.生成器和鉴别…