一.前述 数学基础知识对机器学习还有深度学习的知识点理解尤为重要,本节主要讲解极限等相关知识. 二.极限 1.例子 当 x 趋于 0 的时候,sin(x) 与 tan(x) 都趋于 0. 但是哪一个趋于 0 的速度更快一些呢? 我们考察这两个函数的商的极限, 所以当 x → 0 的时候,sin(x) 与 tan(x) 是同样级别的无穷小. 2.相关定理 如果三个函数满足 f(x) ≤ g(x) ≤ h(x), 而且他们都在 x0 处有极 限,那么 重要极限: 三.微分学 微分学的核心思想: 逼近…

在<神经网络的梯度推导与代码验证>之数学基础篇:矩阵微分与求导中,我们总结了一些用于推导神经网络反向梯度求导的重要的数学技巧.此外,通过一个简单的demo,我们初步了解了使用矩阵求导来批量求神经网络参数的做法.在篇章,我们将专门针对DNN/FNN这种网络结构进行前向传播介绍和反向梯度推导. 注意:本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 目录 2.1 FNN(DNN)的前向传播 2.2 FNN(DNN)的反向传播 2.3 总结 参考资料 2…

在FNN(DNN)的前向传播,反向梯度推导以及代码验证中,我们不仅总结了FNN(DNN)这种神经网络结构的前向传播和反向梯度求导公式,还通过tensorflow的自动求微分工具验证了其准确性.在本篇章,我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 注意: 本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 反向梯度求导涉及到矩阵微分和求导的相关知识,请见<神经网络的梯…

在本篇章,我们将专门针对vanilla RNN,也就是所谓的原始RNN这种网络结构进行前向传播介绍和反向梯度推导.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 注意: 本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 反向梯度求导涉及到矩阵微分和求导的相关知识,请见<神经网络的梯度推导与代码验证>之数学基础篇:矩阵微分与求导 目录 4.1 vanilla RNN的前向传播 4.2 vanilla RNN的反向梯度推导 4.…

前言 在本篇章,我们将专门针对LSTM这种网络结构进行前向传播介绍和反向梯度推导. 关于LSTM的梯度推导,这一块确实挺不好掌握,原因有: 一些经典的deep learning 教程,例如花书缺乏相关的内容 一些经典的论文不太好看懂,例如On the difficulty of training Recurrent Neural Networks上有LSTM的梯度推导但看得我还是一头雾水(可能是我能力有限..) 网上关于LSTM的梯度推导虽多,但缺乏保证其正确性的验证实验 考虑到上述问题,本篇章…

问题地址: http://www.thegrouplet.com/thread-112923-1-1.html 问题: 网站配有太多的模板是否影响网站加载速度 月光答复: wp不需要删除其他的模板,不影响速度 问题地址: http://www.thegrouplet.com/thread-112926-1-1.html 问题: 除了WORDPRESS大家还用什么其他的博客程序额? 月光答复: Typecho这种虽然简单,但是如果你有特殊需要,找插件和模板就难多了 各有各的好  ... 问题地址:…

视觉SLAM中的数学基础 第二篇 四元数 什么是四元数 相比欧拉角,四元数(Quaternion)则是一种紧凑.易于迭代.又不会出现奇异值的表示方法.它在程序中广为使用,例如ROS和几个著名的SLAM公开数据集.g2o等程序都使用四元数记录机器人的姿态.因此,理解四元数的含义与用法,对学习SLAM来说是必须的.本节我们就来讲讲四元数. 首先,请读者不要对四元数有什么神秘的感觉.四元数仅是3D姿态的一种表达方式,我们用一个单位四元数表达原本用旋转矩阵表示的三维旋转.这样做一个直接的好处是省空间.一…

视觉SLAM中的数学基础 第三篇 李群与李代数 前言 在SLAM中,除了表达3D旋转与位移之外,我们还要对它们进行估计,因为SLAM整个过程就是在不断地估计机器人的位姿与地图.为了做这件事,需要对变换矩阵进行插值.求导.迭代等操作.例如,在经典ICP问题中,给定了两组3D点,我们要计算它们之间的变换矩阵.假设第一组的3D点为$\mathbf{P}=\{ \mathbf{p}_i | i = [1,2, \ldots, N] \}$,第二组3D点为$\mathbf{Q}=\{ \mathbf{q}…

视觉SLAM中的数学基础 第一篇 3D空间的位置表示 前言 转眼间一个学期又将过去,距离我上次写<一起做RGBD SLAM>已经半年之久.<一起做>系列反响很不错,主要由于它为读者提供了一个可以一步步编码.运行的SLAM程序,为读者理解SLAM实现的细节作了详细的介绍.但是我也有很多对它不满意的地方.作为面向实现的介绍,它的代码不够稳定可靠,例如,甚至没有对匹配丢失的情况进行处理,因而只能用于教学.另一方面,对SLAM研究者来说,我只是介绍了编码方面如何调用一些常见的库函数,而没有…

第1天:线性代数篇:矩阵.向量.实战编程 第2天:微积分篇:极限与导数.梯度下降.积分.实战编程 第3天:概率分析篇:条件概率与全概率.贝叶斯公式.实战项目 目录 前言 一.概率与机器学习 1.1 概率 1.2 机器学习中的概率 二.条件概率与全概率 2.1 条件概率 2.2 全概率 三.贝叶斯公式与朴素贝叶斯 3.1. 贝叶斯公式 3.2 朴素贝叶斯 四.实战:Python实现朴素贝叶斯 4.1 安装python库Scikit-learn库 4.1.1 安装numpy+mkl和scipy 4.…