deeplearning.ai 人工智能行业大师访谈 Geoffrey Hinton 听课笔记

1. 怀揣着对大脑如何存储记忆的好奇，Hinton本科最开始学习生物学和物理学，然后放弃，转而学习哲学；然后觉得哲学也不靠谱，转而学习心理学；然后觉得心理学在解释大脑运作方面也不给力，转而做了一段时间木匠（木匠？！木匠是什么鬼。。。要不要这么洒脱！），然后决定去试一试人工智能，跑去爱丁堡和Longuet Higgins学人工智能。

（感觉Hinton一直带着兴趣和使命感，这是最终目的，而具体学科都只是手段，这个不行就换下一个，市面上找不到就自己造一个。想到现实中很多人因为本科填报了一个专业，就把自己限制在这个专业里，实在是很愚蠢。学习的本质是掌握某种看世界的角度，不同的学科意味着不同的看世界的角度，世界会变得更立体更有层次。当然这不能只是完全割裂式地均分精力，必须带着一个主题，比如解释大脑之于Hinton，如此在不同学科之间游走也就不叫通而不专了，专的是关于这个实际问题，而不是某个具体学科。在采访中经常可以看到Hinton从心理学的角度来分析问题。）

2. Higgins在神经网络方面做了很好的工作，但是决定放弃了，所以他认为Hinton应该搞符号主义人工智能（symbolic AI），Hinton拒绝了。两人争论了很多，但是Hinton坚持己见。

3. Hinton博士毕业后在英国找不到工作，然后争取了一个奖学金跑去加州，如鱼得水。在英国，神经网络被认为很蠢，加州的环境更开放，神经网络就被接受的多。Hinton也非常享受和David Rumelhart一起工作。

（哈，所以人啊不要太限制自己的活动范围，抽象的说是学科，具体的说是地域、社群。找到和自己有相同价值观的一拨人，一起好好做事。不要把自己局限在某个环境里给自己找不自在。}

4. 1982年Hinton和Rumelhart、Ron Williams发明了反向传播算法。Hinton说：“这主要是Rumelhart的想法，而且不少人在之前也提出过，只是没有清晰的提出“反向传播”的含义，但用链式法则求导，并不是很新的想法。”

（清风道骨！也是他现在已经足够功成名就，一些小的glory也没那么care。）

5. NG问为什么是Hinton的论文被大家广泛的接受。Hinton说因为论文是发表在《Nature》上（1986），而为了能发表，他做了很多人事工作。。。1）直接跑去和审稿人聊了好久，当面给审稿人解释论文的想法；2）用审稿人能理解的例子展示了算法，并且给他看到惊艳的结果。

（论社会活动能力的重要性，论表达能力的重要性。）

6. Hinton认为自己提出的这么多理论里，最有美感的是和Terry Sejnowski做的Boltzmann machines，它能用非常非常简单的学习算法应用到密度很高的连接起来的网络里，这些网络中只有一些节点能被看到，这种隐藏的结构可以用非常简单的算法学习出来。这套理论被脑科学很好的验证。后来Hinton又改进了算法，化繁为简，在更简单的网络结构里仅用一个循环，提出了restricted Boltzmann machines，实际中反而更有效。NG点评说2007年开始很多深度学习神经网络都受此启发。第三件让Hinton觉得很感兴趣的是他做过的一些变分法（variational methods），让EN更有效。

7. Hinton证明了在restricted Boltzmann machines上，ReLU等价于一叠logistic单元。Hinton提到ReLU的一个优点是如果不断复制隐藏层，又用单位矩阵初始化，可以直接复制下一层的内容。这一段没太听明白，大概就是ReLU和单位矩阵初始化的关系。

8. NG问反向传播和大脑的关系。Hinton说了一大堆理论的东西，没太听明白，大意是反向传播能部分的表征大脑行为，但大脑有其他的不是反向传播的方式，他也在设计新的算法。NG还问他胶囊（capsule）的进展，Hinton自己写了很多论文都被拒了，但他自己深信不疑，持续的投入研究。Hinton解释胶囊可以表征一个且只有一个特征，但这可以是任何特征，胶囊比普通的神经元可以表示更多的性质，普通神经元只可以表示一个度量上的属性。

9. Hinton认为GAN是深度学习新想法中最重要的，他希望自己提出的胶囊的概念也能如此成功。

10. Hinton认为建模型的基本原则：先做测量，对其应用非线性变换直到可以表示为状态向量，然后进行线性操作。不应该像一般的filter，仅仅对观测做线性假设，而是应该找到一个非线性变换把观测真正变换到线性空间。比如图像里变换视角，我们要做的是从图像的像素转化到坐标系，有坐标之后可以用矩阵乘法变换视角，然后再变换回像素。

11. NG问给初学者的建议。Hinton回答：1）多读文献，但不要读太多。。。对于有创意的人，最好是读一部分文献，然后发现一些你认为所有人都错了的东西，你只是感觉有点不太对，然后想怎么做才能做对。当人们反对的时候，要坚持自我。Hinton表示他支持人们坚持自我，不管你的判断直觉是对还是错。如果你的直觉是对的，那么你当然应该坚持；如果你的直觉是错的，你做什么都无所谓。。。。。。。（- -！）。一定要相信自己的直觉，不相信，直觉就没有意义了。2）永远不要停止编程，只有实践了才知道里面的小技巧和坑。3）阅读足够多直到你可以产生直觉，然后相信直觉，自己动手，不要担心别人有反对意见。当你觉得是个超好的主意，而其他人都觉得荒谬极了，那你就真的找对东西了，这就是一个好想法的信号。。。Hinton真是超级超级自信啊。4）NG问给PhD的建议。Hinton对现阶段学校能给的教育不抱有太大希望，因为他认为现在还是只很少的一部分人认识到现在世界发生的改变。他认为这一次没到第二次工业革命的地步，但也规模接近，这一次不再是编程，而是向计算机展示东西，然后计算机自己搞定。现在大学里的计算机学科还是基于以前的计算机知识，而现在向计算机展示东西会和编程一样重要。