【NIPS2017】“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导?亚马逊机器学习专家最新报告

【导读】在NIPS 2017上,亚马逊机器学习专家Neil Lawrence在12月4日在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络,并且深入浅出地讲解了什么是机器学习,不确定性的含义以及深度神经网络和高斯过程的一些关联等等,PPT内容干货很多,是学习机器学习概率理论的好文,后续专知会持续讲解PPT里的相关概念,敬请期待。

▌深度高斯过程


当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式。而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。这篇报告中,作者试图使用高斯过程来代替神经网络中的一个层,来减少深度神经网络复杂的计算形式,这样使用一种概率模型的方式来进行深度神经网络的计算,可以为后续深度学习的可解释性提供概率形式的理论指导。

当我们听到“深度高斯过程”的时候, 我们在想些什么? 我们可能会问:

  1. 高斯过程能够做些什么? 它能够替换掉神经网络的某些层么?或者说, 有没有可能将高斯过程和神经网络的某些层结合起来做点事情?比如用高斯过程做神经网络的预处理, 或者先用神经网络提特征然后在feed给高斯过程?
  2. 有没有好的训练算法, 能够高效的解非常复杂的高斯过程? 类似现在的很多深度学习这样.
  3. 深度高斯过程的时间和空间复杂度是怎样的? 同样的任务, 相比于深度学习模型, 有哪些差异?
  4. 如何鲁棒?据说高斯过程在小数据集上比较work, 在有很多数据缺失的情况下也很鲁棒?
  5. 高斯过程数学公式很多,难学?高斯过程并不是很火, 那些公式的堆叠看上去非常复杂, 拿来用的话, 是不是要再补一补数学?

在NIPS 2017上, Neil Lawrence, 进行了题为 "Deep Probabilistic Modelling with Gaussian Processes"的报告, 把上面的问题, 清晰地阐述了一下。

▌Neil Lawrence简介


Neil Lawrence 是英国谢菲尔德大学教授,著名机器学习/高斯过程专家,现在加入亚马逊在英国剑桥领导一个机器学习团队。

个人主页:http://inverseprobability.com/

▌PPT简介


  • 摘要

神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式. 而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。在这篇报告里, 作者讨论深度高斯过程模型(Deep Probabilistic Modelling with Gaussian Processes), 类似所有高斯过程, 这一模型, 在数学形式上是简单和清晰的, 但在算法结构上充满挑战。

在文中, 作者将给出高斯过程的概述, 然后着重讲解如何基于变分来从算法上近似高斯过程, 从而将高斯过程堆叠起来, 形成我们的目标: deep Gaussian process. 报告最后, 会聊一聊深度高斯过程模型在uncertainty quantification上的应用, 以及与深度高斯过程相关的一些open questions。

PPT报告内容如下:

参考文献:

http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

▌特别提示-Neil Lawrence最新深度高斯过程PPT下载

请关注专知公众号

  • 后台回复“DGP” 就可以获取PPT下载~

zz“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导的更多相关文章

  1. [zz] 混合高斯模型 Gaussian Mixture Model

    聚类(1)——混合高斯模型 Gaussian Mixture Model http://blog.csdn.net/jwh_bupt/article/details/7663885 聚类系列: 聚类( ...

  2. 模型汇总24 - 深度学习中Attention Mechanism详细介绍:原理、分类及应用

    模型汇总24 - 深度学习中Attention Mechanism详细介绍:原理.分类及应用 lqfarmer 深度学习研究员.欢迎扫描头像二维码,获取更多精彩内容. 946 人赞同了该文章 Atte ...

  3. 一步步教你轻松学朴素贝叶斯模型算法Sklearn深度篇3

    一步步教你轻松学朴素贝叶斯深度篇3(白宁超   2018年9月4日14:18:14) 导读:朴素贝叶斯模型是机器学习常用的模型算法之一,其在文本分类方面简单易行,且取得不错的分类效果.所以很受欢迎,对 ...

  4. 深度召回模型在QQ看点推荐中的应用实践

    本文由云+社区发表 作者:腾讯技术工程 导语:最近几年来,深度学习在推荐系统领域中取得了不少成果,相比传统的推荐方法,深度学习有着自己独到的优势.我们团队在QQ看点的图文推荐中也尝试了一些深度学习方法 ...

  5. 深度排序模型概述(一)Wide&Deep/xDeepFM

    本文记录几个在广告和推荐里面rank阶段常用的模型.广告领域机器学习问题的输入其实很大程度了影响了模型的选择,因为输入一般维度非常高,稀疏,同时包含连续性特征和离散型特征.模型即使到现在DeepFM类 ...

  6. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks(用于深度网络快速适应的元学习)

    摘要:我们提出了一种不依赖模型的元学习算法,它与任何梯度下降训练的模型兼容,适用于各种不同的学习问题,包括分类.回归和强化学习.元学习的目标是在各种学习任务上训练一个模型,这样它只需要少量的训练样本就 ...

  7. AI 深度生成模型

    深度生成模型 1.玻尔兹曼机

  8. PRML读书会第九章 Mixture Models and EM(Kmeans,混合高斯模型,Expectation Maximization)

    主讲人 网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:10:56 今天的主要内容有k-means.混合高斯模型. EM算法.对于k-me ...

  9. Opencv混合高斯模型前景分离

    #include "stdio.h" #include "string.h" #include "iostream" #include &q ...

随机推荐

  1. 执行flutter doctor后,无任何反应

    flutter运行需要联网,并且由于qiang,会导致访问缓慢,解决办法 export PUB_HOSTED_URL=https://pub.flutter-io.cn export FLUTTER_ ...

  2. [PHP] laravel5.5 搭建流程

    1.nginx 配置 server {    listen       80;    server_name  laravel5-test.d.com; charset utf-8; location ...

  3. matlab练习程序(贝塞尔曲线)

    下面三个公式分别是一次.二次和三次贝塞尔曲线公式: 通用的贝塞尔曲线公式如下: 可以看出,系数是由一个杨辉三角组成的. 这里的一次或者二次三次由控制点个数来决定,次数等于控制点个数-1. 实现的效果如 ...

  4. 【搜索】N皇后问题

    原题传送门 思路 很经典的搜索题,但本蒟蒻卡了1个多小时,搜索部分很简单,但是判重的部分是真的蛋疼,我写了一个高效率的判重算法,但是无论检查多少遍都没有问题的算法却总是WA......后来我干脆写了一 ...

  5. 【SpringCloud之pigx框架学习之路 】2.部署环境

    [SpringCloud之pigx框架学习之路 ]1.基础环境安装 [SpringCloud之pigx框架学习之路 ]2.部署环境 1.下载代码 git clone https://git.pig4c ...

  6. 【Java并发专题之三】Java线程互斥、协作原理

    (I)Java线程互斥原理之synchronized原理 从JDK5引入CAS原子操作,但没有对synchronized关键字做优化,而是增加了J.U.C.concurrent,concurrent包 ...

  7. 【08月20日】A股滚动市净率PB历史新低排名

    2010年01月01日 到 2019年08月20日 之间,滚动市净率历史新低排名. 上市三年以上的公司,2019年08月20日市净率在30以下的公司. 来源:A股滚动市净率(PB)历史新低排名. 1 ...

  8. vue+element 动态表单验证

    公司最近的项目有个添加动态表单的需求,总结一下我在表单验证上遇到的一些坑. 如图是功能的需求,这个功能挺好实现的,但是表单验证真是耗费了我一些功夫. vue+element在表单验证上有一些限制,必须 ...

  9. 一个简单的利用 WebClient 异步下载的示例(三)

    继续上一篇 一个简单的利用 WebClient 异步下载的示例(二) 后,继续优化它. 1. 直接贴代码了: DownloadEntry: public class DownloadEntry { p ...

  10. SAP PI开发手册-ERP发布服务供外部系统调用(sproxy代理类)

    转自:https://www.cnblogs.com/fanjb/p/10829858.html 一.      接口内容 接口详细信息 1.  字段对应关系 发送字段对应关系 返回字段对应关系 2. ...