Theano3.1-练习之初步介绍

来自 http://deeplearning.net/tutorial/，虽然比较老了，不过觉得想系统的学习theano，所以需要从python--numpy--theano的顺序学习。这里的资料都很老了，毕竟看得出来应该是10年的，现在都15年了，综述还是什么都很不一样了，不过对于学习theano来说，还好没差。如果是想学习dl的原理的，推荐看其他的新综述和文章，这里的博文主要是为了学习theano，也就是主要工程上，不是学术上。

深度学习是机器学习研究中一个新的领域，是为了朝着机器学习的初衷：人工智能而前进的一步，可以看看这两个笔记： a brief introduction to Machine Learning
for AI（翻译：）和an introduction
to Deep Learning algorithms.（翻译：待加上）

深度学习是关于从例如图像、声音、文本中学习多层表征和抽象语义。对于更多的dl算法，可以看看下面的资料（虽然觉得老了，都好多年了，不过知识总是不会过时的，只是场景应用不同）：

• 专著或综述性文章 Learning Deep Architectures for AI (Foundations & Trends in Machine
  Learning, 2009).
• The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list
  of references.
• The LISA public wiki has a reading
  list and a bibliography.（读书顺序，推荐，可惜比较旧了）
• Geoff Hinton has readings from 2009’s NIPS
  tutorial.

该教程将会介绍一些最重要的dl算法并且会呈现如何使用 Theano.来运行的。Theano是一个python库，可以用来很容易的写出dl的模型，并且能够在GPU上训练。不过这些算法教程却需要一些先决条件。你需要知道python，很熟悉numpy。而且需要首先读完 Theano
basic tutorial 翻译：。一旦你做完了上面这些，就可以读这部分章节了 Getting
Started–（翻译：）这个章节介绍了一些符号注释，和在这个教程中使用的可下载的数据集 ，这里是通过使用随机梯度下降法（stochastic
gradient descent，SGD）来优化的。

下面这几个是纯有监督学习算法，可以作为初始的练习，按照指定顺序做:

1. Logistic Regression -翻译：
2. Multilayer perceptron -翻译：introduction
   to layers
3. Deep Convolutional Network -翻译：a simplified version of LeNet5

下面这几个是无监督和半监督学习算法，可以按照你想要的顺序做（auto-encoders可以和RBM/DBN独立分开）:

• Auto Encoders, Denoising Autoencoders - description of autoencoders
• Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets
• Restricted Boltzmann Machines - single layer generative RBM model
• Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised
  fine-tuning

接下来是需要的mcRBM,这里是一个从能量模型上采样的一个新教程：

• HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()

接下来的是对比自动编码器的教程，现在已经提供代码了：

• Contractive auto-encoders code - There is some basic doc in the code.

接下来的是基于单词嵌入和上下文窗口的递归神经网络（Recurrent neural networks，RNN)：

• Semantic Parsing of Speech using Recurrent Net

情绪分析的LSTM 网络:

• LSTM network

基于能量的递归神经网络 (RNN-RBM):

• Modeling and generating sequences of polyphonic music

这个博文可以当成一个学习Theano的总入口，接下来会不断的更新其中的原理和代码解析，尽可能的不太监，而且我是先一直更新python的，然后更新了一篇numpy的，然后在来theano的部分的，尽量做到从零开始。