目录

Locatello F., Bauer S., Lucic M., R"{a}tsch G., Gelly S. Sch"{o}lkopf and Bachem Olivier. Challenging common assumptions in the unsupervised learning of disentangled representations. In International Conference on Machine Leaning (ICML), 2018.

解耦表示学习(disentangled representations)通常假设图片有独立的几个因素决定, 即:

\[p(x|z) , p(z) = \prod_{i=1}^d p(z_i).
\]

本文对这个假设提出质疑.

主要内容

VAE 首先通过encoder 将\(x\)映射为隐变量\(z\), 再通过隐变量\(z\)恢复出\(x\), 其中赋予先验\(p(z)\)常常为标准正态分布, 并且最大化ELBO的同时要最小化:

\[\mathrm{KL} (q_{\phi}(z|x) \| p(z)),
\]

这表示我们希望所提取的隐变量\(z\)的各分量是相互独立. 形象地说, 我们改变\(z_i\)就有图片相应的元素发生改变而其它元素不变. 作者认为这种假设简单而美好, 但是在无监督的模式下, 该假设是不可能成立的.

实际上, 假设先验分布的确如此\(p(z) = \prod_{i}^d p(z_i)\), 则一定存在一个双射\(f: \mathrm{supp}(z) \rightarrow \mathrm{supp}(z)\), 是的\(\frac{\partial{f_i(z)}}{\partial z_j}\not = 0, \mathrm{a.e.}, \forall i, j\), 且\(z, f(z)\)同分布, 即

\[P(z \le u) = P(f(z) \le u),
\]

又因为\(f\)是一个双射, 故

\[p(x|z) = p(x|f(z)),
\]

进一步有

\[P(x) = \int p(x|z)p(z) \mathrm{d}z = \int p(x|f(z))p(f(z)) \mathrm{d}f(z).
\]

故边缘分布是一致的, 这意味着, 我们除了\(p(z)\), 还有\(p(f(z))\)同样可以到处我们的观测数据\(P(x)\), 反之, 没有额外的信息(即在无监督条件下)我们无法确定所拟合的分布是\(p(z)\)还是\(p(f(z))\).

倘若是后者, 我们改变隐变量的某一个维度\(f_i\), 由于偏导数均不为0, 则几乎所有的\(z\)都改变了, 也就是真正的控制元素都会发生改变, 这和我们的解耦表示学习的初衷产生了背离. 所以结论就是在无监督条件下, 想要解耦表示是几乎不可能的.

注: 上面的\(f\)的构造不是唯一的;

注: 上面的证明用到了和顺序统计量一样的有趣的玩意.

作者做了很多很多实验, 个人觉得最能体现这一点就是, 所有这些强调解耦表示的VAE都对参数初始化和超参数选择异常敏感.

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations的更多相关文章

  1. 《Domain Agnostic Learning with Disentangled Representations》ICML 2019

    这篇文章是ICML 2019上一篇做域适应的文章,无监督域适应研究的问题是如何把源域上训练的模型结合无lable的目标域数据使得该模型在目标域上有良好的表现.之前的研究都有个假设,就是数据来自哪个域是 ...

  2. 【ML】ICML2015_Unsupervised Learning of Video Representations using LSTMs

    Unsupervised Learning of Video Representations using LSTMs Note here: it's a learning notes on new L ...

  3. 【CV】ICCV2015_Unsupervised Learning of Visual Representations using Videos

    Unsupervised Learning of Visual Representations using Videos Note here: it's a learning note on Prof ...

  4. Unsupervised Learning and Text Mining of Emotion Terms Using R

    Unsupervised learning refers to data science approaches that involve learning without a prior knowle ...

  5. Machine Learning Algorithms Study Notes(4)—无监督学习(unsupervised learning)

    1    Unsupervised Learning 1.1    k-means clustering algorithm 1.1.1    算法思想 1.1.2    k-means的不足之处 1 ...

  6. Unsupervised Learning: Use Cases

    Unsupervised Learning: Use Cases Contents Visualization K-Means Clustering Transfer Learning K-Neare ...

  7. Supervised Learning and Unsupervised Learning

    Supervised Learning In supervised learning, we are given a data set and already know what our correc ...

  8. Unsupervised learning无监督学习

    Unsupervised learning allows us to approach problems with little or no idea what our results should ...

  9. PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

    PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 20 ...

随机推荐

  1. Notepad++【远程操作linux文件】

    目录 目的 预期效果 操作步骤 1.打开插件 2.安装NppFTP 3.连接远程主机 注意 目的 通过Notepad++远程登录linux主机,修改配置文件 预期效果 在Notepad++上登录lin ...

  2. 利用unordered_map维护关联数据

    在leetcode上刷339题Evaluate Division(https://leetcode.com/problems/evaluate-division/#/description)时在脑中过 ...

  3. FastJson简介

    FastJson简介 首先,介绍一下fastjson.fastjson是由alibaba开源的一套json处理器.与其他json处理器(如Gson,Jackson等)和其他的Java对象序列化反序列化 ...

  4. 使用Navicat Premium 15发送Excel附件至个人邮箱

    一.新建一个查询保存为user 二.右键查询导出向导为Excel文件并保存为user 三.点自动运行-添加查询-添加附件-高级配置邮件信息(qq邮箱需要先开启POP3/SMTP服务) 四.设置定时任务 ...

  5. 【C++】使用VS2022开发可以在线远程编译部署的C++程序

    前言: 今天没有前言. 一.先来一点C++的资源分享,意思一下. 1.c++类库源码以及其他有关资源.站点是英文的,英文不好的话可以谷歌浏览器在线翻译.http://www.cplusplus.com ...

  6. 去除爬虫采集到的\xa0、\u3000等字符

    \xa0表示不间断空白符,爬虫中遇到它的概率不可谓不小,而经常和它一同出现的还有\u3000.\u2800.\t等Unicode字符串.单从对\xa0.\t.\u3000等含空白字符的处理来说,有以下 ...

  7. bcloud_bctf_2016

    目录 bcloud_bctf_2016 总结 题目分析 checksec 函数分析 main welcome get_name get_org_host menu new_note show_note ...

  8. [BUUCTF]PWN——pwnable_start

    pwnable_start 附件 步骤: 例行检查,32位程序,什么保护都没开,首先想到的是ret2shellcode的方法 本地试运行一下,看看程序大概的情况 32位ida载入,没法f5,好在汇编不 ...

  9. Vs code配置Go语言环境-Mac

    背景:最近受朋友介绍,学习Go语言.那么开始吧,首先从配置环境开始. 电脑:Mac Air,Vs code已经安装 一.Go下载和安装 下载地址:https://golang.google.cn/dl ...

  10. CF1557B Moamen and k-subarrays 题解

    Content 给定一个大小为 \(n\) 的数组.你可以将其分为 \(k\) 个子数组,并按照每个子数组的字典序重新排列这些子数组,再顺次拼接,得到一个新的数组.问是否存在一种划分子数组的方案,使得 ...