1. 读博士之前,林元庆是学光学,他自认为数学基础非常好.在宾夕法尼亚大学上课认识了他的博士导师Dan Lee,转学机器学习.他从头开始学了很多算法,甚至PCA,之前他完全不知道这些,他觉得非常兴奋,每天都能学到好多新东西.博士毕业后去了NEC做研究员(2008年),在NEC后期才开始进入计算机视觉领域,做的第一件事情就是参加第一届ImageNet比赛(2010年)获得了第一名.2011年的AlexNet给了他很大震撼,"哇,深度学习如此强大!"从那之后,林元庆进入深度学习领域. 2.…

Geoffrey Hinton 1. 怀揣着对大脑如何存储记忆的好奇,Hinton本科最开始学习生物学和物理学,然后放弃,转而学习哲学:然后觉得哲学也不靠谱,转而学习心理学:然后觉得心理学在解释大脑运作方面也不给力,转而做了一段时间木匠(木匠?!木匠是什么鬼...要不要这么洒脱!),然后决定去试一试人工智能,跑去爱丁堡和Longuet Higgins学人工智能. (感觉Hinton一直带着兴趣和使命感,这是最终目的,而具体学科都只是手段,这个不行就换下一个,市面上找不到就自己造一个.想到现实中很…

1. 本科的时候在多伦多大学上Geoffrey Hinton的课,在MNIST数字数据集上训练受限玻尔兹曼机,觉得很有趣.后来在UBC读硕士,上了另一门机器学习的课,那是他第一次深入了解神经网络的相关知识.他对人工智能很感兴趣,上了很多相关的课,但是对那些知识听不太懂,不是非常满意.他觉得神经网络才是AI,才是真正有趣的东西.于是他走上了这条路. 2. Karpathy认为神经网络是一种新的编程方式,我们定义好输入和输出,喂给程序很多例子,然后它会自动写程序. 3. NG觉得Karpathy对于…

1. 怀揣着对大脑如何存储记忆的好奇,Hinton本科最开始学习生物学和物理学,然后放弃,转而学习哲学:然后觉得哲学也不靠谱,转而学习心理学:然后觉得心理学在解释大脑运作方面也不给力,转而做了一段时间木匠(木匠?!木匠是什么鬼...要不要这么洒脱!),然后决定去试一试人工智能,跑去爱丁堡和Longuet Higgins学人工智能. (感觉Hinton一直带着兴趣和使命感,这是最终目的,而具体学科都只是手段,这个不行就换下一个,市面上找不到就自己造一个.想到现实中很多人因为本科填报了一个专业,就把…

1. 如何走上人工智能的研究的?Bengio说他小时候读了很多科幻小说,1985年(64年出生,21岁)研究生阶段开始阅读神经网络方面的论文,对这个领域产生了热情. 2. 如何看深度学习这些年的发展?Bengio说他们从实验.直觉入手,然后才提出理论,比如为什么反向传播有效,为什么深度这么重要.2000年开始研究深度神经网络的时候,他们只是很直觉的认为神经网络更深才会更强大,并不清楚怎么论证,最初的实验也没有成功. 3. 和30年前相比,有哪些东西是很重要的,它们后来被证明是以正确的,又有哪些最…

1. Ian Goodfellow之前是做神经科学研究,在斯坦福上了Andrew NG的课之后,Ian决定投身AI.在寒假他和小伙伴读了Hinton的论文,然后搭了一台用CUDA跑Boltzmann machine的电脑,然后他意识到深度学习是未来,因为他看了很多算法比如支持向量机,觉得它们不是那么靠谱. 2. Ian提出了生成对抗网络(GAN).他研究生成模型很久,非常了解其他框架的优缺点,像找一个可以同时避免所有现存算法缺点的算法.GAN是在有很多数据的基础上制造更多类似的数据. 3. 关于…

1. Pieter Abbeel小时候想做一个篮球运动员 - -!上学的时候喜欢数学和物理,上大学之后很自然的学工程.Pieter定义工程问题是"解决实际中应用物理和数学的问题".pieter电子工程系毕业的时候不知道该干嘛,因为所有的工程学科都很有趣.最后选择AI是因为他感觉AI是一切东西的核心,可以帮助所有学科. 2. Pieter Abbeel主要的贡献是在深度增强学习.在此之前,他研究了很多增强学习.他觉得传统增强学习的问题在于不但需要机器学习的知识,还需要特定领域的知识.20…

Ruslan Salakhutdinov一方面是苹果的研究主管,另一方面是CMU的教授. 1. Ruslan说自己进入深度学习完全是运气,他在多伦多大学读硕士,然后休学了一年,他在金融领域工作,那时候他不确定是否要去读个博士.有一天早晨,他在路上遇到了Geoffrey Hinton.Geoffrey Hinton跟他说他有个好点子,然后两个人一起散步讨论,Geoffrey介绍了玻尔兹曼机之类的东西,Ruslan说自己当时没听懂Geoffrey在说什么,但他听了觉得很激动...于是就跟着Geoff…

觉得有用的话,欢迎一起讨论相互学习~Follow Me 吴恩达采访Geoffrey Hinton NG:前几十年,你就已经发明了这么多神经网络和深度学习相关的概念,我其实很好奇,在这么多你发明的东西中,哪些你到现在为止依然保持有热情的. Hinton:我认为我觉得最具学术之美的是受限Boltzmann机器,我们认为他能用很简单很简单的算法去应用到密度很高的连接起来的网络. Hinton:我仍然认为无监督学习十分重要,当我们真正搞明白一些东西以后,结果会比现在好很多.不过目前并没有找到这种方法.…

1. 计算深度神经网络的时候,尽量向量化数据,不要用for循环.唯一用for循环的地方是依次在每一层做计算. 2. 最常用的检查代码是否有错的方法是检查算法中矩阵的维度. 正向传播: 对于单个样本,第i层网络 z[i] = W[i]a[i-1] + b[i], a[i] = f[i](z[i]). 其中,z[i]是n[i]*1,W[i]是n[i]*n[i-1],a[i-1]是n[i-1]*1,b[i]是n[i]*1. 对于向量化后的所有样本,第i层网络 Z[i] = W[i]A[i-1] + b…