…

Hinton的第6课,这一课中最后的那个rmsprop,关于它的资料,相对较少,差不多除了Hinton提出,没论文的样子,各位大大可以在这上面研究研究啊. 一.mini-批量梯度下降概述 这部分将介绍使用随机梯度下降学习来训练NN,着重介绍mini-批量版本,而这个也是现今用的最广泛的关于训练大型NN的方法.这里再回顾下关于一个线性神经元他的错误表面是怎样的. 这里的错误表面就是在一个空间中,水平轴是对应于NN的权重,竖直轴对应于所产生的错误的表面.对于一个误差平方的线性神经元,这个表面总是一个…

蒙特卡罗(Monte Carlo)方法,也称为计算机随机模拟方法,是一种基于"随机数"的计算方法. 二 解决问题的基本思路 Monte Carlo方法的基本思想很早以前就被人们所发现和利用.早在17世纪,人们就知道用事件发生的"频率"来决定事件的"概率".19世纪人们用投针试验的 方法来决定圆周率π.本世纪40年代电子计算机的出现,特别是近年来高速电子计算机的出现,使得用数学方法在计算机上大量.快速地模拟这样的试验成为可 能.         为…

Levmar:Levenberg-Marquardt非线性最小二乘算法 eryar@163.com Abstract. Levmar is GPL native ANSI C implementations of the Levenberg-Marquardt optimization algorithm.The blog focus on the compilation of levmar on Windows with Visual Studio. Key Words. Levmar, C,…

support vector machines,SVM是二类分类模型.定义在特征空间上间隔最大的线性分类器,由于包括核技巧实质上成为非线性分类器.学习策略是间隔最大化,可形式化为求解凸二次规划问题(convex quadratic programming).求解算法是求解凸二次规划的最优化算法. SVM学习方法分为线性可分支持向量机(linear support vector machine in linearly separable case).线性支持向量机(linear support v…

写在前面 本文严禁转载,只限于学习交流. 课件分享在这里了. 还有人工智能标准化白皮书(2018版)也一并分享了. 绪论 人工智能的定义与发展 定义 一般解释:人工智能就是用 人工的方法在 **机器(计算机)**上实现的智能,或称 机器智能: 人工智能(学科):从学科的角度来说,人工智能是一门研究如何 构造智能机器或智能系统,使之能模拟.延伸.扩展人类智能的学科: 人工智能(能力):从智能能力的角度来说,人工智能是智能机器所执行的通常 与人类智能有关的智能行为,如判断.推理.证明.识别.感知.理…

支持向量机通过某非线性变换 φ( x) ,将输入空间映射到高维特征空间.特征空间的维数可能非常高.如果支持向量机的求解只用到内积运算,而在低维输入空间又存在某个函数 K(x, x′) ,它恰好等于在高维空间中这个内积,即K( x, x′) =<φ( x) ⋅φ( x′) > .那么支持向量机就不用计算复杂的非线性变换,而由这个函数 K(x, x′) 直接得到非线性变换的内积,使大大简化了计算.这样的函数 K(x, x′) 称为核函数 核函数包括线性核函数.多项式核函数.高斯核函数等,其中高斯核…

Apply Newton Method to Find Extrema in OPEN CASCADE eryar@163.com Abstract. In calculus, Newton’s method is used for finding the roots of a function. In optimization, Newton’s method is applied to find the roots of the derivative. OPEN CASCADE implem…

OPEN CASCADE Multiple Variable Function eryar@163.com Abstract. Multiple variable function with gradient and Hessian matrix is very very import in OPEN CASCADE optimization algorithms. In order to understand these optimization algorithm better, let’s…

OPEN CASCADE Gauss Least Square eryar@163.com Abstract. The least square can be used to solve a set of n linear equations of m unknowns(n >= m). The OPEN CASCADE class math_GaussLeastSquare implements the least square solution of the linear equations…