05-04 scikit-learn库之主成分分析
更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/p/11686958.html
scikit-learn库之主成分分析
PCA在scikit-leran库中的sklearn.decomposition
包下,PCA即最普通的PCA,PCA也有很多变种,我们主要会讲解PCA,然后聊一聊KernelPCA
、IncremetalPCA
、SparsePCA
、MiniBatchSparsePCA
。
接下来将会讨论上述五者的区别,由于是从官方文档翻译而来,翻译会略有偏颇,有兴趣的也可以去scikit-learn官方文档查看https://scikit-learn.org/stable/modules/classes.html#module-sklearn.decomposition
一、PCA
1.1 使用场景
PCA是PCA系列降维算法中最原始的降维方法,因为原始,所以它一般是我们首选的,如果感觉原始的PCA可能无法解决我们的问题,我们可以尝试使用其他的PCA系列的降维算法。
1.2 代码
import numpy as np
from sklearn.decomposition import PCA
X = np.array([[-1, -1, 2], [-2, -1, 1], [-3, -2, 3],
[1, 1, 2], [2, 1, 2], [3, 2, 3]])
pca = PCA(n_components=2)
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028 0.06363895]
print(pca.singular_values_)
[6.311193 1.65102037]
pca = PCA(n_components=2, svd_solver='full')
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='full', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028 0.06363895]
print(pca.singular_values_)
[6.311193 1.65102037]
pca = PCA(n_components=1, svd_solver='arpack')
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=1, random_state=None,
svd_solver='arpack', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028]
print(pca.singular_values_)
[6.311193]
1.3 参数
- n_components:特征维度数目,float类型或str类型。该参数可以用来控制降维到的维度数。
- 设置一个大于等于1且小于样本特征的整数。
- 设置\((0,1]\)内的数,指定主成分方差和所占的最小比例阈值。
- 设置为'mle',即由模型通过MLE算法根据特征的方差分布情况自己选择。
- copy:bool类型。如果为True,在传递给fit()方法的数据上降维,如果为False,传递给fit()方法的数据将会被覆盖,即在原来的数据上进行降维计算。默认为True。
- whiten:白化,bool类型。判断是否白化,白化就是对降维后的数据归一化,让方差都为1。一般不推荐白化,如果PCA降维后需要进行数据处理,可以考虑白化。默认为False。
- svd_solver:奇异值分解方法,str类型。指定奇异值分解SVD的方法,一般PCA库都是基于SVD实现的。
- 'auto':PCA自动权衡下面三种实现方式。
- 'full':传统的SVD,使用scipy库实现。
- 'arpack':适用于数据量大,数据维度多,同时主成分数目比例较低的PCA降维,使用scipy库实现。
- 'randomized':适用于数据量大,数据维度多,同时主成分数目比例较低的PCA降维,使用scikit-learn实现。
- tol:停止求解的标准,float类型。当svd_solver='arpack'停止算法的奇异值阈值。默认为0。
- iterated_power:int类型或'auto'。当svd_solver='randomized'时计算幂方法的迭代次数。默认为'auto'。
- random_state:随机数种子,int类型。使用后可以保证随机数不会随着时间的变化而变化。默认为None。
1.4 属性
- components_:array类型。返回具有最大方差的成分。
- explained_variance_:array类型。降维后的各主成分的方差值,主成分方差值越大,则说明这个主成分越重要
- explained_variance_ratio_:array类型。降维后的各主成分的方差值占总方差值的比例,主成分所占比例越大,则说明这个主成分越重要。
- singular_values_:array类型。返回每个成分对应的奇异值。
- mean_:array类型。每个值的经验均值。
- n_components_:int类型。返回保留的成分个数。
- noise_variance_:float类型。返回噪声的协方差。
1.5 方法
- fit(X,y):把数据放入模型中训练模型。
- fit_transform(X,[,y])all:训练模型同时返回降维后的数据。
- get_covariance():计算数据的协方差。
- get_params([deep]):返回模型的参数,可以用于Pipeline中。
- get_precision():计算数据的精确度矩阵。
- inverse_transform:将降维后的数据转换成原始数据,但可能不会完全一样,会有些许差别。
- score(X,y):基于报告决定系数\(R^2\)评估模型。
- score_samples:返回每个样本的对数似然。
- set_prams(**params):创建模型参数。
- transform(X):对于训练好的数据降维。
二、KernelPCA
KernelPCA
模型类似于非线性支持向量机,使用核技巧处理非线性数据的降维,主要是选择合适的核函数。
三、IncrementalPCA
IncrementalPCA
模型主要是为了解决计算机内存限制问题。工业上样本量和维度都是非常大的,如果直接拟合数据,机器性能一般都无法支撑。IncrementalPCA
则会将数据分成多个batch,然后对每个batch依次递增调用partial_fit函数对样本降维。
四、SparsePCA
SparsePCA
模型相较于普通的PCA
区别在于使用了L1正则化,即对非主成分的影响降为0,避免了噪声对降维的影响。
五、MiniBatchSparsePCA
MiniBatchSparsePCA
模型类似于SparsePCA
,不同之处在于MiniBatchSparsePCA
模型通过使用一部分样本特征和给定的迭代次数进行降维,以此来解决特征分解过慢的问题。
05-04 scikit-learn库之主成分分析的更多相关文章
- Scikit Learn: 在python中机器学习
转自:http://my.oschina.net/u/175377/blog/84420#OSC_h2_23 Scikit Learn: 在python中机器学习 Warning 警告:有些没能理解的 ...
- kFreeBSD 7.0于2013/05/04发布 桌面环境 GNOME 3....
kFreeBSD 7.0于2013/05/04发布 桌面环境 GNOME 3.4, KDE 4.8.4, Xfce 4.8, and LXDE
- scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类 (python代码)
scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类数据集 fetch_20newsgroups #-*- coding: UTF-8 -*- import ...
- (原创)(三)机器学习笔记之Scikit Learn的线性回归模型初探
一.Scikit Learn中使用estimator三部曲 1. 构造estimator 2. 训练模型:fit 3. 利用模型进行预测:predict 二.模型评价 模型训练好后,度量模型拟合效果的 ...
- (原创)(四)机器学习笔记之Scikit Learn的Logistic回归初探
目录 5.3 使用LogisticRegressionCV进行正则化的 Logistic Regression 参数调优 一.Scikit Learn中有关logistics回归函数的介绍 1. 交叉 ...
- Scikit Learn
Scikit Learn Scikit-Learn简称sklearn,基于 Python 语言的,简单高效的数据挖掘和数据分析工具,建立在 NumPy,SciPy 和 matplotlib 上.
- Python第三方库(模块)"scikit learn"以及其他库的安装
scikit-learn是一个用于机器学习的 Python 模块. 其主页:http://scikit-learn.org/stable/. GitHub地址: https://github.com/ ...
- ubuontu16.04安装Opencv库引发的find_package()错误信息处理及其简单使用
在安装完Opencv库之后,打算测试一下Opencv库是否成功安装.下面是用的例子对应的.cpp代码以及对应的CMakeLists.txt代码: .cpp文件: #include <stdio. ...
- Ubuntu 16.04 安装PCL库以及测试
参考链接:https://blog.csdn.net/dantengc/article/details/78446600 参考博客,官网一直安装不成功,后来参照一篇博客终于安装成功了,记录如下. 1. ...
随机推荐
- 阿里《JAVA实习生入职测试题—2019最新》之答案详解(连载一)
力争清晰完整准确(逐步完善,持续更新) 1.String类为什么是final的 首先分析String的源码: public final class String implements java.io. ...
- C#开发BIMFACE系列22 服务端API之获取模型数据7:获取多个模型的楼层信息
系列目录 [已更新最新开发文章,点击查看详细] 在<C#开发BIMFACE系列21 服务端API之获取模型数据6:获取单模型的楼层信息>中介绍获取单个模型的所有楼层信息.某些场景下 ...
- Python字符串中删除特定字符
分析 在Python中,字符串是不可变的.所以无法直接删除字符串之间的特定字符. 所以想对字符串中字符进行操作的时候,需要将字符串转变为列表,列表是可变的,这样就可以实现对字符串中特定字符的操作. 1 ...
- Redis哨兵模式实现集群的高可用
先了解一下哨兵都 做了什么工作:Redis 的 Sentinel 系统用于管理多个 Redis 服务器(instance), 该系统执行以下三个任务: 监控(Monitoring): Sentinel ...
- Ansible实现批量管理服务器
Ansible介绍: a. ansible是一个基于Python开发的自动化运维工具b. ansible是一个基于ssh协议实现远程管理的工具c. ansible软件可以实现多种批量管理操作(批量系统 ...
- linux ubuntu 18首次使用root权限
第一次获得root密码: sudo passwd root 切换成root用户,获得root权限 exit 退出,回到初始用户
- java中多线程执行时,为何调用的是start()方法而不是run()方法
Thead类中start()方法和run()方法的区别 1,start()用来启动一个线程,当调用start()方法时,系统才会开启一个线程,通过Thead类中start()方法来启动的线程处于就绪状 ...
- 学习笔记-Unity3d代码实现Windows10加载圈圈的效果
最近在写一个Unity3d的模仿windows10的桌面的程序,由于Unity3d本身不支持Gif图片,所以突发奇想使用代码来实现接近的. 接下来是代码部分:不一一解析,很简单,看的懂原理就Okly了 ...
- android 多行 RadioButton的使用
最近项目用到了多行RadioButton,随记录下. 先给出RadioButton的布局 <com.kuibu.jucai.widget.MyRadioGroup android:id=&quo ...
- Winform中使用zxing和Graphics实现自定义绘制二维码布局
场景 zxing.dll下载 https://download.csdn.net/download/badao_liumang_qizhi/11623214 效果 实现 根据上面文章中将简单的二维码生 ...