Vector spaces and subspaces Column space of A solving Ax=b Null space of A   Vector space requirements v+w and cv are in the space All combs cv+dw are in the space 向量空间对数乘和加法需要封闭 subspace of R^3: Line( L) through zero vector  is a subspace of R^3 Pla…

1. 激活函数: 1)Sigmoid,σ(x)=1/(1+e-x).把输出压缩在(0,1)之间.几个问题:(a)x比较大或者比较小(比如10,-10),sigmoid的曲线很平缓,导数为0,在用链式法则的时候,后一层传回来的导数乘以sigmoid的导数也是0了,换句话说,对于sigmoid饱和的区域后一层的导数传不到前面去了.(b)输出永远为正,即下一层的输入永远为正,我们希望输入的均值为0.(c)exp还是稍微有点难计算. 2)tanh(x),输出压缩在[-1,+1]之间,比sigmoid的进…

一.随机变量序列的收敛性 1.定义 (1)概率为1收敛: 如果$P{\lim\limits_{n \to \infty}X_n = X} = 1$,则称{Xn}概率为1地收敛于X,或几乎处处(几乎必然)收敛于X,记作 $\lim\limits_{n \to \infty}X_n \overset{a.e}{=} X$ 或 $X_n \overset{a.e}{\to} X$ (2)依概率收敛: 如果∀ε>0,$\lim\limits_{n \to \infty}P{|X_n-X|<\varep…

1. 激活函数: 1)Sigmoid,σ(x)=1/(1+e-x).把输出压缩在(0,1)之间.几个问题:(a)x比较大或者比较小(比如10,-10),sigmoid的曲线很平缓,导数为0,在用链式法则的时候,后一层传回来的导数乘以sigmoid的导数也是0了,换句话说,对于sigmoid饱和的区域后一层的导数传不到前面去了.(b)输出永远为正,即下一层的输入永远为正,我们希望输入的均值为0.(c)exp还是稍微有点难计算. 2)tanh(x),输出压缩在[-1,+1]之间,比sigmoid的进…

该博客主要用于个人学习记录,部分内容参考自:[基础]斯坦福cs231n课程视频笔记(三) 训练神经网络.[cs231n笔记]10.神经网络训练技巧(上).CS231n学习笔记-训练神经网络.整理学习之Batch Normalization(批标准化).CS231n-2022 Module1: 神经网络3:Learning and Evaluation 一.激活函数Activation Funnctions 1.Sigmoid: \(\sigma(x)=\frac{1}{1+e^{-x}}\) 每…

Hinton第三课 这节课主要是介绍NN的输出端常用的神经元,然后重点是说明怎么使用BP来计算偏导数,在Hinton这一课中,他提供了他1986年参与写的<并行分布处理>一书的第8章,49页,这本书的编者是当你的认知神经界的Rumelhart, D. E和McClelland, J. L,想想估计那时候Hinton应该很年轻吧,这本书网上很难找到,但是发现http://psych.stanford.edu/~jlm/papers/ ,这里居然有全本. 一.学习线性神经元的权重 这里介绍的线性神…

第1课:https://github.com/Unknwon/go-fundamental-programming/blob/master/lectures/lecture1.md Go开发环境搭建http://www.tudou.com/programs/view/hlDq2A0vNes/ 土豆网http://www.ucai.cn/course/chapter/69/3210/4555 优才网http://study.163.com/course/courseLearn.htm?course…

本文简单整理了以下内容: (一)线性回归 (二)二分类:二项Logistic回归 (三)多分类:Softmax回归 (四)广义线性模型 闲话:二项Logistic回归是我去年入门机器学习时学的第一个模型(忘记了为什么看完<统计学习方法>第一章之后直接就跳去了第六章,好像是对"逻辑斯蒂"这个名字很感兴趣?...),对照<机器学习实战>写了几行代码敲了一个toy版本,当时觉得还是挺有意思的.我觉得这个模型很适合用来入门(但是必须注意这个模型有很多很多很多很多可以展开…

有位师兄收集了很多slam的学习资料, 做的很赞, 放到了github上, 地址:https://github.com/liulinbo/slam.git ruben update 0823 2016   01StableMatching.pdf 添加部分资料 2 years ago   1502.00956v2.pdf update by ruben 04/08/2016 a year ago   2013.2-第二届虚拟仪器大赛特等奖-结构化环境地图创建机器人.mp4 update by r…

Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记1 Link: Hinton的CSC321课程笔记2 一年后再看课程,亦有收获,虽然看似明白,但细细推敲其实能挖掘出很多深刻的内容:以下为在线课程以及该笔记的课程重难点总结. Lecture 01 增强学习: (这是ng的拿手好戏,他做无人直升机可是做了好久)增强学习的输出是一个动作或者一系列的动作,通过与实际的场合下的环境互动来决定动作,增强学习的…