上一篇文章讲了PCA的数据原理,明白了PCA主要的思想及使用PCA做数据降维的步骤,本文我们详细探讨下另一种数据降维技术—奇异值分解(SVD). 在介绍奇异值分解前,先谈谈这个比较奇怪的名字:奇异值分解,英文全称为Singular Value Decomposition.首先我们要明白,SVD是众多的矩阵分解技术中的一种,矩阵分解方式很多,如三角分解(LU分解.LDU分解.乔列斯基分解等).QR分解及这里所说的奇异值分解:其次,singular是奇特的.突出的.非凡的意思,从分解的过程及意义来看
很遗憾前面只看过 Michael Jordan 写的一部分,这次打算把 Daphne Koller 和 Nir Friedman 合著的 Probabilistic Graphical Models: Principles and Techniques 好好过一遍. 作者认为与通常写一个 specific 程序解决一个具体的统计问题不一样,probabilistic graphical model 试图从另外一个角度来看这些问题,给出具有普适性的算法,而这依赖于一个 declarative re
奇异值分解 SVD(Singular Value Decomposition)是一种重要的矩阵分解方法,可以看做是特征分解在任意矩阵上的推广,SVD是在机器学习领域广泛应用的算法. 特征值和特征向量 定义:设 A 是 n 阶矩阵,若数 λ 和 n 维非零向量 x 满足 那么,数 λ 称为方阵 A 的特征值,x 称为 A 的对应于特征值 λ 的特征向量 说明:特征向量 x 不等于0,特征值问题仅仅针对方阵:n 阶方阵 A 的特征值,就是使得齐次线性方程组 (A-λE)x = 0 有非零解的 λ 值
导引 有理数集是"稀疏的"和"稠密的". 选择公理 考虑以下问题:容易找到两个无理数 a, b 使 a + b 为有理数,或者使 ab 为有理数,但是能否使得 ab 也是有理数? 答:令 如果 x 是一个有理数,则即可. 如果 x 是无理数,则令 ,而 ,则,通过Gelfond-Schneider 定理可知:如果 α ≠ 0, 1 是一个代数数,而 β 是一个代数数而非有理数,则 αβ 是一个超越数.因此, 是一个超越数,也是一个无理数.由此可证. 选择公理是从一