第7章 PCA与梯度上升法

【第7章 PCA与梯度上升法】的更多相关文章

第7章 PCA与梯度上升法

主成分分析法:主要作用是降维疑似右侧比较好? 第三种降维方式: 问题:????? 方差:描述样本整体分布的疏密的指标,方差越大,样本之间越稀疏:越小,越密集第一步: 总结: 问题:????怎样使其最大变换后: 最后的问题:???? 注意区别于线性回归使用梯度上升法解决PCA问题: import numpy as np import matplotlib.pyplot as plt from sklearn import datasets digits = datasets.load_d…

机器学习(七) PCA与梯度上升法 (上)

一.什么是PCA 主成分分析 Principal Component Analysis 一个非监督学的学习算法主要用于数据的降维通过降维,可以发现更便于人类理解的特征其他应用:可视化:去噪第一步:将样例的均值归零(demean) 二.使用梯度上升法求解PCA问题梯度上升法解决主成分分析问题三.求数据的主成分PCA 四.求数据的主成分 PCA 求数据的前 N 个主成分求出第一个主成分以后,如何求出下一个主成分? 数据进行改变,将数据在第一个主成分的分量去掉. 我写的文章只是我自己对b…

机器学习（4）——PCA与梯度上升法

主成分分析(Principal Component Analysis) 一个非监督的机器学习算法主要用于数据的降维通过降维,可以发现更便于人类理解的特征其他应用:可视化.去噪通过映射,我们可以把数据从二维降到一维: 显然,右边的要好一点,因为间距大,更容易看出差距. 如何定义样本间距?使用方差,因为方差越小,数据月密集,方差越大,数据月分散. 另均值为0: 因为均值为0,w是单位向量,模为1,所以: 梯度上升法求解PCA问题分析:X是mn的矩阵,m是样本数,n是特征数,X^(i)是第i…

4.pca与梯度上升法

(一)什么是pca pca,也就是主成分分析法(principal component analysis),主要是用来对数据集进行降维处理.举个最简单的例子,我要根据姓名.年龄.头发的长度.身高.体重.皮肤的白皙程度(随便想的)等特征来预测一个人的性别,但这些特征中有一个是最没有用的,是什么的?显然是年龄,因为年龄的大小跟这个人的性别无关.还有姓名,这个特征显然起不到决定性作用,因为有的男孩的名字起的就像女孩(比如我本人),反之亦然,但是起码绝大多数情况还是能判断的.同理还有身高,一个180CM…

机器学习(七) PCA与梯度上升法 (下)

五.高维数据映射为低维数据换一个坐标轴.在新的坐标轴里面表示原来高维的数据. 低维反向映射为高维数据 PCA.py import numpy as np class PCA: def __init__(self, n_components): """初始化PCA""" assert n_components >= 1, "n_components must be valid" self.n_components =…

机器学习：PCA（使用梯度上升法求解数据主成分 Ⅰ ）

一.目标函数的梯度求解公式 PCA 降维的具体实现,转变为: 方案:梯度上升法优化效用函数,找到其最大值时对应的主成分 w : 效用函数中,向量 w 是变量: 在最终要求取降维后的数据集时,w 是参数: 1)推导梯度求解公式变形一变形二变形三:向量化处理最终的梯度求解公式:▽f = 2 / m * XT . (X . dot(w) ) 二.代码实现(以二维降一维为例) 1)模拟数据 import numpy as np import matplotlib.pyplot as plt X…

《机器学习实战》学习笔记——第13章 PCA

1. 降维技术 1.1 降维的必要性 1. 多重共线性--预测变量之间相互关联.多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯.2. 高维空间本身具有稀疏性.一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%. 3. 过多的变量会妨碍查找规律的建立. 4. 仅在变量层面上分析可能会忽略变量之间的潜在联系.例如几个预测变量可能落入仅反映数据某一方面特征的一个组内. 1. 2 降维的目的: 1. 减少预测变量的个数 2. 确保这些变量是相互独立的 3. 提供一个框架来…