机器学习中的矩阵方法03：QR 分解

【机器学习中的矩阵方法03：QR 分解】的更多相关文章

机器学习中的矩阵方法03：QR 分解

1. QR 分解的形式 QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积.QR 分解经常用来解线性最小二乘法问题.QR 分解也是特定特征值算法即QR算法的基础.用图可以将分解形象地表示成: 其中, Q 是一个标准正交方阵, R 是上三角矩阵. 2. QR 分解的求解 QR 分解的实际计算有很多方法,例如 Givens 旋转.Householder 变换,以及 Gram-Schmidt 正交化等等.每一种方法都有其优点和不足.上一篇博客介绍了 Givens 旋转和 Householder…

机器学习中的矩阵方法04：SVD 分解

前面我们讲了 QR 分解有一些优良的特性,但是 QR 分解仅仅是对矩阵的行进行操作(左乘一个酉矩阵),可以得到列空间.这一小节的 SVD 分解则是将行与列同等看待,既左乘酉矩阵,又右乘酉矩阵,可以得出更有意思的信息.奇异值分解( SVD, Singular Value Decomposition ) 在计算矩阵的伪逆( pseudoinverse ),最小二乘法最优解,矩阵近似,确定矩阵的列向量空间,秩以及线性系统的解集空间都有应用. 1. SVD 的形式对于一个任意的 m×n 的矩阵 A,S…

机器学习（十三）——机器学习中的矩阵方法（3）病态矩阵、协同过滤的ALS算法（1）

http://antkillerfarm.github.io/ 向量的范数(续) 范数可用符号∥x∥λ表示. 经常使用的有: ∥x∥1=|x1|+⋯+|xn| ∥x∥2=x21+⋯+x2n−−−−−−−−−−−√ ∥x∥∞=max(|x1|,-,|xn|) 这里不做解释的给出例如以下示意图: 当中,0范数表示向量中非0元素的个数. 上图中的图形被称为lp ball. 表征在同一范数条件下,具有相同距离的点的集合. 范数满足例如以下不等式: ∥A+B∥≤∥A∥+∥B∥(三角不等式) 向量范数推广可…

机器学习中的矩阵方法(附录A）：病态矩阵与条件数

1. 病态系统现在有线性系统: Ax = b, 解方程很容易得到解为: x1 = -100, x2 = -200. 如果在样本采集时存在一个微小的误差,比如,将 A 矩阵的系数 400 改变成 401: 则得到一个截然不同的解: x1 = 40000, x2 = 79800. 当解集 x 对 A 和 b 的系数高度敏感,那么这样的方程组就是病态的 (ill-conditioned). 2. 条件数那么,如何评价一个方程组是病态还是非病态的呢?在此之前,需要了解矩阵和向量的 norm, 这里…

机器学习中的标准化方法(Normalization Methods)

希望这篇随笔能够从一个实用化的角度对ML中的标准化方法进行一个描述.即便是了解了标准化方法的意义,最终的最终还是要:拿来主义,能够在实践中使用. 动机:标准化的意义是什么? 我们为什么要标准化?想象我们有一个Data Matrix $\mathbf{X}\in \mathbb{R}^{n\times d}$ 我们首先必须要做的事情就是对这个Data Matix进行标准化,意义是:“取消由于量纲不同.自身变异或者数值相差较大所引起的误差.”这个解释还不是很明白,那么我们可以想象如果不进行标准化会发…

【矩阵】RQ/QR 分解

Multiple View Geometry in Computer Vision A.4.1.1 (page 579) 将一个 3x3 矩阵 $ A $ 进行 RQ 分解是将其分解成为一个上三角阵 $ R $ 与一个正交阵(orthogonal matrix) $ Q $ 的乘积.要求矩阵 $ A $ 的秩为3,即满秩. 所谓矩阵 $ Q $ 正交是指 $ Q^TQ=I $, $ Q $ 可以看作是一个旋转矩阵.此旋转矩阵由三个子旋转矩阵点乘而来,即 $ Q = Q_xQ_yQ_z $ .$…

再谈机器学习中的归一化方法（Normalization Method）

机器学习.数据挖掘工作中,数据前期准备.数据预处理过程.特征提取等几个步骤几乎要花费数据工程师一半的工作时间.同时,数据预处理的效果也直接影响了后续模型能否有效的工作.然而,目前的大部分学术研究主要集中在模型的构建.优化等方面,对数据预处理的理论研究甚少,可以说,很多数据预处理工作仍然是靠工程师的经验进行的.从业数据建模/挖掘工作也有近2年的时间,在这里结合谈一谈数据预处理中归一化方法. 在之前的博客中转载了一篇关于维归约的文章:数据预处理之归一化.论述的比较简单,有兴趣的可以先了解一下. 在这…