v1,v2,-,vn 是内积空间的一组向量,Gram 矩阵定义为: Gij=⟨vi,vj⟩,显然其是对称矩阵. 其实对于一个XN⋅d(N 个样本,d 个属性)的样本矩阵而言,X⋅X′ 即为 Gram 矩阵: 1. 基本性质 半正定(positive semidefinite) 2. 应用 如果 v1,v2,-,vn 分别是随机向量,则 Gram 矩阵是协方差矩阵: 3. 在 ML 中的应用 对于感知机模型(perceptron)的对偶形式: 输入:线性可分的数据集 T={(x1,y1),(x2,

函数:UF_MTX3_vec_multiply_t() 或者UF_MTX3_vec_multiply().推荐使用UF_MTX3_vec_multiply_t() 函数说明:将向量按照矩阵进行变换:绝对坐标系下有向量vec,矩阵tagMatrix直接用WCS坐标系的矩阵.vec与tagMatrix乘积得到vec_product.为了更直观我们使用UF_CURVE_create_line创建一条直线来看一下. 结果:红色矢量为vec.绿色矢量为vec_product.红色向量与ABS坐标的相对位置

函数:UF_MTX3_multiply() 或者UF_MTX3_multiply_t().推荐使用UF_MTX3_multiply() 函数说明:矩阵相乘,得到新的矩阵,如下图WCS与ABS重合,在暗绿色坐标系(ABS坐标系)下有个亮绿色坐标系(dou9m1[9] = { -1,0,0,0,1,0,0,0,-1 };),将亮绿色坐标系变换到粉红色坐标系(douFaceCsysMatrix[9] = { -1,0,0,0,-1,0,0,0,1 };)下得到红色坐标系(dou9m2).矩阵乘积的几何

格拉姆矩阵是由内积空间中的向量两两内积而得.格拉姆矩阵在向量为随机的情况下也是协方差矩阵.每个数字都来自于一个特定滤波器在特定位置的卷积,因此每个数字代表一个特征的强度,而Gram计算的实际上是两两特征之间的相关性,哪两个特征是同时出现的,哪两个是此消彼长的等等,同时,Gram的对角线元素,还体现了每个特征在图像中出现的量,因此,Gram有助于把握整个图像的大体风格. 在有限元方法中,格拉姆矩阵出现在从有限维空间逼近函数时:格拉姆矩阵的元素是有限维子空间的基函数的内积.在几何上,格拉姆行列式是这

设 $W$ 是 $n$ 维 Euclidean 空间 $V$ 的子空间, $\beta\in V$, 定义 $\beta$ 到 $W$ 的距离  $$\bex  \rd (\beta,W)=|\beta-\beta'|,  \eex$$  其中 $\beta'$ 为 $\beta$ 在 $W$ 上的正交投影. 设 $\beta_1,\cdots,\beta_m$ 为 $W$ 的一组基, 则  $$\bex  \rd (\beta,W)=\sqrt{\frac{G(\beta_1,\cdots,\

在寻找极大极小值的过程中,有一个经典的算法叫做Newton's method,在学习Newton's method的过程中,会引入两个矩阵,使得理解的难度增大,下面就对这个问题进行描述. 1, Jacobian矩阵矩阵 对于一个向量函数F:$R_{n}$ -> $R{m}$是一个从欧式n维到欧式m维空间的函数(好像有点难理解,请看下面),这个函数由m个实函数组成,每一个函数的输入自变量是n维的向量,即$(y_{1}(x_{1},\cdots,x_{n}), \cdots,y_{m}(x_{1},

Gram定义 n维欧式空间中任意k个向量之间两两的内积所组成的矩阵,称为这k个向量的格拉姆矩阵(Gram matrix) 根据定义可以看到,每个Gram矩阵背后都有一组向量,Gram矩阵就是由这一组向量两两内积得到的,先说一下向量内积是做什么的. 向量的内积,也叫向量的点乘,对两个向量执行内积运算,就是对这两个向量对应位一一相乘之后求和的操作,内积的结果是一个标量.例如对于向量a和向量b:                             a和b的内积公式为: 两个向量的内积有什么用呢?一

矩阵 矩阵就是一行和列组织起来的矩形数字块. 矩阵可以理解为是向量的数组.   矩阵的维度和记法 矩阵的维度是包含多少行多少列!例如1行2列的矩阵 记法:矩阵m中,对于第1行第2列的元素,我们记为m12   方阵 行数和列数相同的矩阵,我们叫做方阵.一般情况下,我们研究的就是2x2, 3x3, 4x4的方阵   对角线元素 方阵中,行号和列号相同的元素就是对角线元素,其他的都是非对角线元素.   单位矩阵 对角线元素都为1,非对角线元素都为0的矩阵   转置矩阵 对于矩阵M,M的转置矩阵MT,

感知机(perceptron) 模型: 简答的说由输入空间(特征空间)到输出空间的如下函数: \[f(x)=sign(w\cdot x+b)\] 称为感知机,其中,\(w\)和\(b\)表示的是感知机模型参数,\(w \in R^n\)叫做权值,\(b \in R\)叫做偏置(bias) 感知机是一种线性分类模型属于判别模型. 感知机的几何解释:线性方程:\[w \cdot x + b = 0\]对应于特征空间\(R^n\)中的一个超平面S,这个超平面将特征空间分为两个部分,位于两部分的点(特征

参考博客 Liam Q博客 和李航的<统计学习方法> 感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型.感知机模型是神经网络和支持向量机的基础.下面分别从感知机学习的模型.策略和算法三个方面来介绍. 1. 感知机模型 感知机模型如下: f(x)= sign(w*x+b) 其中,x为输入向量,sign为符号函数,括号里面大于等于0,则其值为1,括号里面小于0,则其值为-1.w为权值向量,b为偏置.

之前通过一个系列对支持向量机(以下简称SVM)算法的原理做了一个总结,本文从实践的角度对scikit-learn SVM算法库的使用做一个小结.scikit-learn SVM算法库封装了libsvm 和 liblinear 的实现,仅仅重写了算法了接口部分. 1. scikit-learn SVM算法库使用概述 scikit-learn中SVM的算法库分为两类,一类是分类的算法库,包括SVC, NuSVC,和LinearSVC 3个类.另一类是回归算法库,包括SVR, NuSVR,和Linea

感知机(perceptron)是二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别(取+1和-1).感知机对应于输入空间中将实例划分为两类的分离超平面.感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化(最优化).感知机的学习算法具有简单而易于实现的优点,分为原始形式和对偶形式.感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型.感知机由Rosenblatt于1957年提出的,是神经网络和支持向量机的基础. 行文脉

写在前面 感谢全部点进来看的朋友.没错.我眼下打算写一本关于Unity Shader的书. 出书的目的有以下几个: 总结我接触Unity Shader以来的历程,给其它人一个借鉴.我非常明确学Shader的艰难,在群里也见了非常多人提出的问题. 我认为学习Shader还是一件有规律可循的事情,但问题是中文资料难觅,而大家又不愿意去看英文...这对我有什么优点呢?强迫我对知识进行梳理,对细节问题把握更清楚. 第二个原因你懂的. 关于本书的定位问题: 面向Unity Shader刚開始学习的人,但要

作为一个脱离了低级趣味的码农,春节假期闲来无事,决定做一些有意思的事情打发时间,碰巧看到这篇论文: A neural style of convolutional neural networks,译作卷积神经网络风格迁移. 这不是“暮光女”克里斯丁的研究方向吗?!连好莱坞女星都开始搞人工智能发paper,真是热的可见一斑! 这篇文章中讲述了如何用深层卷积神经网络来将一张普通的照片转化成一幅艺术风格的画作(比如梵高的星夜),可以看做是DL(deep learning)在NPR(非真实渲染non p

本文同步自我的知乎专栏: From Beijing with Love 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,用来表示的话,训练模型其实就是下面的参数优化问题: 其中L是loss function,比如神经网络中分类常用的cross-entropy. CNN学到了什么? 特征(Representation).把原始图像看做一个维度是像素×通道的向量,经过各种复杂的CNN结构,其实只不过成了另一个向量.这个向量所在的空间也许有更好的线性可分性,也许

1球心坐标(ECEF)与本地坐标(NEU) 假如你来到一个陌生城市,你很可能需要问路.通常会告诉你向北走100米,右转,向东走100米,理解起来很直观.你给儿子买了一个地球仪,你从北京(39,115)转到伦敦 (51,0),这个动作就可以分解为两步:先转到同一个经度(39,0),在转到同一个维度(51,0) 这个例子体现了一个问题:不同的地理范围下会使用更适合的坐标系.比如前者是局部的平面坐标,而后者是球面坐标.因此,同一个点相对不同的原点,具有不同的相对位置:既是地球上的一个经纬度,又是"出门

·其实这是一个选修课的present,整理一下作为一篇博客,希望对你有用.讲解风格迁移的博客蛮多的,我就不过多的赘述了.讲一点几个关键的地方吧,当然最后的代码和ppt也希望对你有用. 1.引入: 风格迁移四个字直观理解很简单,就是将一张图像在保存原图大致的纹理结构的同时,具有别的图像的风格.说白了,就是对图像加了一个风格滤镜.就像下面这几幅图.     下面是对一个动态图,进行毕加索风格处理后的结果. 2.过程介绍: 现在我们来看看具体的实现过程.这是论文[3]给出的实现框架.首先我们来理解一下

support vector machines,SVM是二类分类模型.定义在特征空间上间隔最大的线性分类器,由于包括核技巧实质上成为非线性分类器.学习策略是间隔最大化,可形式化为求解凸二次规划问题(convex quadratic programming).求解算法是求解凸二次规划的最优化算法. SVM学习方法分为线性可分支持向量机(linear support vector machine in linearly separable case).线性支持向量机(linear support v

1 感知机模型1.1 模型定义2 感知机学习策略2.1 数据的线性可分性2.2 学习策略3 学习算法3.1 算法原始形式3.2 收敛性3 学习算法的对偶形式 1 感知机模型 感知机perceptron是二类分类问题的线性分类模型,输入为实例的特征向量,输出为实例的类别(+1,-1).感知机旨在求出训练数据进行线性划分的分离超平面(separating hyperplane),基于损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型,从而对新实例进行分类.它分为原始和对偶形式.1957年R

前言 深度学习是最近比较热的词语.说到深度学习的应用,第一个想到的就是Prisma App的图像风格转换.既然感兴趣就直接开始干,读了论文,一知半解:看了别人的源码,才算大概了解的具体的实现,也惊叹别人的奇思妙想. 声明 代码主要学习了[titu1994/Neural-Style-Transfer]的代码,算是该项目部分的简化版或者删减版.这里做代码的注解和解释,也作为一个小玩具. 论文可以参考[A Neural Algorithm of Artistic Style],网上也有中文的版本. 使