机器学习前沿热点——Deep Learning

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习是无监督学习的一种。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

一、Deep Learning的前世今生

图灵在1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑[1]。

这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。

2008年6月，《连线》杂志主编，Chris
Anderson 发表文章，题目是《理论的终极，数据的泛滥将让科学方法过时》。并且文中还引述经典著作《人工智能的现代方法》的合著者，时任Google研究总监的Peter
Norvig的言论，说“一切模型都是错的。进而言之，抛弃它们，你就会成功”[2]。

言下之意，精巧的算法是无意义的。面对海量数据，即便只用简单的算法，也能得到出色的结果。与其钻研算法，不如研究云计算，处理大数据。

如果这番言论，发生在2006年以前，可能我不会强力反驳。但是自2006年以来，机器学习领域，取得了突破性的进展。

图灵试验，至少不是那么可望而不可即了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是Deep
Learning。

借助于Deep Learning算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。

于是学界忙着延揽相关领域的大师。Alex Smola 加盟 CMU，就是这个背景下的插曲。悬念是 Geoffrey
Hinton 和 Yoshua
Bengio 这两位牛人，最后会加盟哪所大学。

Geoffrey Hinton 曾经转战 Cambridge、CMU，目前任教University
of Toronto。相信挖他的名校一定不少。

Yoshua Bengio 经历比较简单，McGill
University 获得博士后，去 MIT 追随 Mike
Jordan 做博士后。目前任教 University
of Montreal。

Deep Learning 引爆的这场革命，不仅学术意义巨大，而且离钱很近，实在太近了。如果把相关技术难题比喻成一座山，那么翻过这座山，山后就是特大露天金矿。技术难题解决以后，剩下的事情，就是动用资本和商业的强力手段，跑马圈地了。

于是各大公司重兵集结，虎视眈眈。Google 兵分两路，左路以 Jeff
Dean 和 Andrew
Ng 为首，重点突破Deep Learning 等等算法和应用[3]。

Jeff Dean 在 Google 诸位 Fellows 中，名列榜首，GFS 就是他的杰作。Andrew
Ng 本科时，就读 CMU，后来去 MIT 追随 Mike
Jordan。Mike Jordan 在 MIT 人缘不好，后来愤然出走 UC
Berkeley。Andrew Ng 毫不犹豫追随导师，也去了 Berkeley。拿到博士后，任教 Stanford，是 Stanford 新生代教授中的佼佼者，同时兼职 Google。

Google 右路军由 Amit
Singhal 领军，目标是构建 Knowledge
Graph 基础设施。

1996 年 Amit
Singhal 从 Cornell
University 拿到博士学位后，去 Bell
Lab 工作，2000 年加盟 Google。据说他去 Google 面试时，对 Google 创始人 Sergey
Brian 说，“Your engine
is excellent, but let me rewirte it!”[4]

换了别人，说不定一个大巴掌就扇过去了。但是 Sergey
Brian 大人大量，不仅不怪罪小伙子的轻狂，反而真的让他从事新一代排名系统的研发。Amit
Singhal 目前任职 Google 高级副总裁，掌管 Google 最核心的业务——搜索引擎。

Google 把王牌中之王牌，押宝在 Deep
Learning 和 Knowledge
Graph 上，目的是更快更大地夺取大数据革命的胜利果实。

二、Deep Learning的基本思想和方法

实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，这种特征在很多图像处理的应用中表现非常良好，特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非常的重要。

然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气；既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep
Learning就是用来干这个事情的，看它的一个别名Unsupervised
Feature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。因此，自动地学习特征的方法，统称为Deep
Learning。

1） Deep
Learning的基本思想

假设我们有一个系统S，它有n层（S1,S2,…,Sn），它的输入是I，输出是O，形象地表示为：IS1S2…SnO，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep
Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，S2，…，Sn。

另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep
Learning方法。上述就是Deep Learning的基本思想。

2） Deep
Learning的常用方法

a)  AutoEncoder

最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重，自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征，在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好！这种方法称为AutoEncoder。当然，我们还可以继续加上一些约束条件得到新的Deep
Learning方法，如如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到Sparse
AutoEncoder方法。

b)  Sparse Coding

如果我们把输出必须和输入相等的限制放松，同时利用线性代数中基的概念，即O=W1B1 + W2B2+…+WnBn，Bi是基，Wi是系数，我们可以得到这样一个优化问题：

Min|I－O|

通过求解这个最优化式子，我们可以求得系数Wi和基Bi，这些系数和基础就是输入的另外一种近似表达，因此，它们可以特征来表达输入I，这个过程也是自动学习得到的。如果我们在上述式子上加上L1的Regularity限制，得到

Min|I－O|+u(|W1|+|W2|+…+|Wn|)

这种方法被称为Sparse Coding。

c) Restrict Boltzmann Machine (RBM)

假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v），一层是隐藏层(h)，如果假设所有的节点都是二值变量节点（只能取0或者1值），同时假设全概率分布p(v, h)满足Boltzmann 分布，我们称这个模型是Restrict
Boltzmann Machine (RBM)。下面我们来看看为什么它是Deep
Learning方法。首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的，即p(h|v)
=p(h1|v)…p(hn|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的，同时又由于所有的v和h满足Boltzmann 分布，因此，当输入v的时候，通过p(h|v)可以得到隐藏层h，而得到隐藏层h之后，通过p(v|h) 又能得到可视层，通过调整参数，我们就是要使得从隐藏层得到的可视层v1与原来的可视层v如果一样，那么得到的隐藏层就是可视层另外一种表达，因此隐藏层可以作为可视层输入数据的特征，所以它就是一种Deep
Learning方法。

如果，我们把隐藏层的层数增加，我们可以得到Deep Boltzmann
Machine (DBM)；如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型，当然这里依然限制层中节点之间没有链接），而在最远离可视层的部分使用Restrict
Boltzmann Machine，我们可以得到Deep
Belief Net（DBN）。

当然，还有其他的一些Deep Learning 方法，在这里就不叙述了。总之，Deep
Learning能够自动地学习出数据的另外一种表示方法，这种表示可以作为特征加入原有问题的特征集合中，从而可以提高学习方法的效果，是目前业界的研究热点。

三、深度学习(Deep Learning)算法简介

深度(Depth)

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow
graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有孩子，输出节点没有父亲。

对于表达sin(a2+b/a)的流向图，可以通过一个有两个输入节点a和b的图表示，其中一个节点通过使用a和b作为输入(例如作为孩子)来表示b/a；一个节点仅使用a作为输入来表示平方；一个节点使用a2和b/a作为输入来表示加法项(其值为a2+b/a)；最后一个输出节点利用一个单独的来自于加法节点的输入计算SIN。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看作拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。

深度架构的动机

学习基于深度架构的学习算法的主要动机是：

不充分的深度是有害的；

大脑有一个深度架构；

认知过程是深度的；

不充分的深度是有害的

在许多情形中深度2就足够(比如logical
gates, formal［threshold］neurons,
sigmoid-neurons, Radial Basis Function (RBF) units like in SVMs)表示任何一个带有给定目标精度的函数。但是其代价是：图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。这一点已经在logical
gates, formal［threshold］neurons 和rbf单元中得到证实。在后者中Hastad说明了但深度是d时，函数族可以被有效地(紧地)使用O(n)个节点(对于n个输入)来表示，但是如果深度被限制为d－1，则需要指数数量的节点数O(2n)。

我们可以将深度架构看作一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深的或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示(see
the polynomials example in the Bengio survey paper)。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。

大脑有一个深度架构

例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联，因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，它们根据低层特征定义。

需要注意的是大脑中的表示是在中间紧密分布并且纯局部：它们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效的(指数级高效)表示。

认知过程看起来是深度的

• 人类层次化地组织思想和概念；
• 人类首先学习简单的概念，然后用它们去表示更抽象的；
• 工程师将任务分解成多个抽象层次去处理。

学习/发现这些概念(知识工程由于没有反省而失败？)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。

学习深度架构的突破

2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。

2006年的3篇论文改变了这种状况，由Hinton的革命性的在深度信念网(Deep
Belief Networks, DBNs)上的工作所引领：

• Hinton, G. E., Osindero, S. and Teh, Y., A fast learning algorithm for deep belief nets .Neural Computation 18:1527-1554, 2006
• Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances
  in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
• Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model,
  in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007

在这三篇论文中以下主要原理被发现：

• 表示的无监督学习被用于(预)训练每一层；
• 在一个时间里的一个层次的无监督训练，接着之前训练的层次。在每一层学习到的表示作为下一层的输入；
• 用无监督训练来调整所有层(加上一个或者更多的用于产生预测的附加层)。

DBNs在每一层中利用用于表示的无监督学习RBMs。Bengio
et al paper 探讨和对比了RBMs和auto-encoders(通过一个表示的瓶颈内在层预测输入的神经网络)。Ranzato
et al paper在一个convolutional架构的上下文中使用稀疏auto-encoders(类似于稀疏编码)。Auto-encoders和convolutional架构将在以后的课程中讲解。

从2006年以来，大量的关于深度学习的论文被发表，一些探讨了其他原理来引导中间表示的训练，查看Learning
Deep Architectures for AI。

四、拓展学习推荐

Deep Learning 经典阅读材料：

• The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).
• The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.
• The LISA public wiki has a reading list and a bibliography.
• Geoff Hinton has readings from last year’s NIPS tutorial.

Deep Learning工具——
Theano：

Theano是deep
learning的Python库，要求首先熟悉Python语言和numpy，建议读者先看Theano
basic tutorial，然后按照Getting
Started 下载相关数据并用gradient
descent的方法进行学习。

学习了Theano的基本方法后，可以练习写以下几个算法：

有监督学习：

1. Logistic Regression-using Theano for something simple

2. Multilayer perceptron-introduction to layers

3. Deep Convolutional Network-a simplified version of LeNet5

无监督学习：

• Auto Encoders, Denoising Autoencoders-description of autoencoders
• Stacked Denoising Auto-Encoders-easy steps into unsupervised pre-training for deep nets
• Restricted Boltzmann Machines-single layer generative RBM model
• Deep Belief Networks-unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning

最后呢，推荐给大家基本ML的书籍：

• Chris Bishop, “Pattern Recognition and Machine Learning”, 2007
• Simon Haykin, “Neural Networks: a Comprehensive Foundation”, 2009 (3rd edition)
• Richard O. Duda, Peter E. Hart and David G. Stork, “Pattern Classification”, 2001 (2nd edition)

五、应用实例

1. 计算机视觉

• ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.
• Learning Hierarchical Features for Scene Labeling, Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun, IEEE Transactions on Pattern
  Analysis and Machine Intelligence, 2013.
• Learning Convolutional Feature Hierachies for Visual Recognition, Koray Kavukcuoglu, Pierre Sermanet, Y-Lan Boureau, Karol Gregor, Michaël Mathieu
  and Yann LeCun, Advances in Neural Information Processing Systems (NIPS 2010), 23, 2010.

2. 语音识别

微软研究人员通过与hintion合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，目前，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。

在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。

国内方面，科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。

3. 自然语言处理等其他领域

很多机构在开展研究，但目前深度学习在自然语言处理方面还没有产生系统性的突破。

六、参考链接

1.http://baike.baidu.com/view/9964678.htm?subLemmaId=10105430&fromenter=deep+learning

2.http://www.cnblogs.com/ysjxw/archive/2011/10/08/2201819.html

3.http://blog.csdn.net/abcjennifer/article/details/7826917

(选自http://elevencitys.com/?p=1854)

Reference

［1］ Turing
Test.http://en.wikipedia.org/wiki/Turing_test

［2］ The
End of Theory: The Data Deluge Makes the Scientific Method Obsolete.

http://www.wired.com/science/discoveries/magazine/16-07/pb_theory

［3］ Introduction
to Deep Learning.http://en.wikipedia.org/wiki/Deep_learning

［4］ Interview
with Amit Singhal, Google Fellow.

http://searchengineland.com/interview-with-amit-singhal-google-fellow-121342