python机器学习-乳腺癌细胞挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 原文链接 https://www.kdnuggets.com/2017/06/practical-importance-feature-selection…

一.特征选择可以减少过拟合代码实例 该实例来自机器学习实战第四章 #coding=utf-8 ''' We use KNN to show that feature selection maybe reduce overfitting ''' from sklearn.base import clone from itertools import combinations import numpy as np from sklearn.model_selection import train_t…

中文原文链接:http://www.cnblogs.com/AHappyCat/p/5318042.html 英文原文链接: An Introduction to Feature Selection 下面的中文译文侧重从原理上进行解释,但是在实际的应用中往往侧重的是实现过程, 可以看考这个链接,描述的比较详细,需要细细的学习:http://blog.csdn.net/bryan__/article/details/51607215 [中文原文] 你需要哪些特征来构建一个预测模型? 这是一个困难的…

在上一篇文章<数据准备<4>:变量筛选-理论篇>中,我们介绍了变量筛选的三种方法:基于经验的方法.基于统计的方法和基于机器学习的方法,本文将介绍后两种方法在Python(sklearn)环境下的具体实现. 1.环境介绍 版本:python2.7 工具:Spyder 开发人:hbsygfz 2.数据集介绍 数据集:sklearn中自带的cancer数据集,可参考官方介绍 from sklearn.datasets import load_breast_cancer cancer =…

參考:JMLR的paper<an introduction to variable and feature selection> we summarize the steps that may be taken to solve a feature selection problem in a check list: 1. Do you have domain knowledge? If yes, construct a better set of "ad hoc" fea…

Ref: 1.13. Feature selection Ref: 1.13. 特征选择(Feature selection) 大纲列表 3.1 Filter 3.1.1 方差选择法 3.1.2 相关系数法 3.1.3 卡方检验 3.1.4 互信息法 3.2 Wrapper 3.2.1 递归特征消除法 3.3 Embedded 3.3.1 基于惩罚项的特征选择法 3.3.2 基于树模型的特征选择法 类 所属方式 说明 VarianceThreshold Filter 方差选择法 SelectKB…

基于惩罚项的特征选择法 一.直接对特征筛选 Ref: 1.13.4. 使用SelectFromModel选择特征(Feature selection using SelectFromModel) 通过 L1 降维特征 L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个,所以没选到的特征不代表不重要.故,可结合L2惩罚项来优化. (1) [Scikit-learn] 1.1 Generalized Linear Models - from Linear Regression to…

首先,弄清楚三个相似但是不同的任务: feature extraction and feature engineering: 将原始数据转换为特征,以适合建模. feature transformation: 对数据的转换以提高算法的精度. feature selection: 删除不必要的特征. 1 Feature Extraction 1.1 Text 1.1.1 Bag of Words 最简单的方法是 Bag of Words,首先有一个词典包含了文本中出现的所有的词,每个句子文本的表示…

概述:上节咱们说了特征工程是机器学习的一个核心内容.然后咱们已经学习了特征工程中的基础内容,分别是missing value handling和categorical data encoding的一些方法技巧.但是光会前面的一些内容,还不足以应付实际的工作中的很多情况,例如如果咱们的原始数据的features太多,咱们应该选择那些features作为咱们训练的features?或者咱们的features太少了,咱们能不能利用现有的features再创造出一些新的与咱们的target有更加紧密联系…

An example showing univariate feature selection. Noisy (non informative) features are added to the iris data and univariate feature selection(单因素特征选择) is applied. For each feature, we plot the p-values for the univariate feature selection and the cor…

main idea: 计算每一个feature的重要性,选取重要性前k的feature: 衡量一个feature重要的方式:如果一个feature重要,则在这个feature上加上noise,会对最后performance影响很大. 1.feature selection的含义及优缺点 去除冗余的特征(比如,年龄和出生年月两个特征,根据出生年月能计算出年龄) 无关的特征(研究病人的病情,和他的医保类型没有关系) 优点(选好特征后): a. 效率(feature变少,维度变低) b. 泛化(坏的特…

在做单细胞的时候,有很多基因属于noise,就是变化没有规律,或者无显著变化的基因.在后续分析之前,我们需要把它们去掉. 以下是一种找出highly variable gene的方法: The feature selection procedure is based on the largest difference between the observed coefficient of variation (CV) and the predicted CV (estimated by a no…

在上一篇文章<数据准备<3>:数据预处理>中,我们提到降维主要包括两种方式:基于特征选择的降维和基于维度转换的降维,其中基于特征选择的降维通俗的讲就是特征筛选或者变量筛选,是指从多个特征(变量)中筛选出显著的特征(变量),在分类预测问题中,就是筛选出对目标变量有预测能力的特征(变量).本篇主要介绍特征(变量)筛选的基本思路与方法,为简洁,下文均使用"变量筛选"指代. 变量筛选主要有三种方法:基于经验的方法(比如专家法).基于统计的方法(比如信息增益.区分度)和基…

原文:http://www.cnblogs.com/xbinworld/archive/2012/11/27/2791504.html 机器学习-特征选择 Feature Selection 研究报告 注: 这个报告是我在10年7月的时候写的(博士一年级),最近整理电脑的时候翻到,当时初学一些KDD上的paper的时候总结的,现在拿出来分享一下. 毕竟是初学的时候写的,有些东西的看法也在变化,看的人可以随便翻翻,有错指正我. 重点部分:是第3章和第4章对应的两篇paper,具体可以在参考文献里找…

sas信用评分之第二步变量筛选 今天介绍变量初步选择.这部分的内容我就只介绍information –value,我这次做的模型用的逻辑回归,后面会更新以基尼系数或者信息熵基础的筛选变量,期待我把. Iv值的介绍你们已经很熟悉了,我这次就简单粗暴的说下变量iv值到那个数就可以用的啦. (1):在很多书上说要达到0.1-0.3才是中等相关,达到0.3是强相关,但是这里必须提及,变量的iv值本来就是变量多个分段的iv值的相加.所以我们做这部分工作的时候就发现,一个变量我要是变态一点,分成1000分,…

Abstract • 从图正则数据重构方面处理无监督特征选择: • 模型的思想是所选特征不仅通过图正则保留了原始数据的局部结构,也通过线性组合重构了每个数据点: • 所以重构误差成为判断所选特征质量的自然标准. • 通过最小化重构误差,选择最好保留相似性和判别信息的特征: 1  Introduction  • 目前有两大类无监督特征选择算法:Similarity preserving 和 clustering performance maximization:Similarity preserv…

本博客是针对周志华教授所著<机器学习>的"第11章 特征选择与稀疏学习"部分内容的学习笔记. 在实际使用机器学习算法的过程中,往往在特征选择这一块是一个比较让人模棱两可的问题,有时候可能不知道如果想要让当前的模型效果更好,到底是应该加还是减掉一些特征,加又是加哪些,减又是减哪些,所以借着对这一章内容的学习,希望可以在文末解决这个疑惑. 目录 子集搜索与评价 子集搜索(subset search) 子集评价(subset evaluation) 过滤式选择 包裹式选择 嵌入式…

两方面(发散,相关)~三方法(FWE) F:方皮卡互 W:RFE E:惩罚树 一.简介 我们的数据处理后,喂给算法之前,考虑到特征的实际情况,通常会从两个方面考虑来选择特征: 1)特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用 2)特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优先选择 根据特征选择的形式又可以将特征选择方法分为3种: Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈…

特征相关性对于DL的影响 链接:https://www.zhihu.com/question/47908908/answer/110987483 经验一:  1. 输入特征最好不相关.如果某些维输入的相关性太强,那么网络中与这些输入神经元相连的权重实际上起到的作用就是相似的,训练网络时花在调整这些权重之间关系上的力气就白费了.(仅仅是多费了点时间?) 2. 上面说的输入的相关是指所有训练数据某些维度上相关,而不是说某些训练数据在所有维度上相关.在你举的例子中,如果相似数据都非常接近,那么这些数据…

这一个部分都将只涉及到选择特征的某个子集的方法,将高纬度的特征空间映射到低维度空间的方法(如PCA)都不会涉及到. 一. 单变量 优点:运算速度快,独立于分类器 缺点:忽略的特征之间的联系,忽略了与分类器的联系(在训练模型的时候不能调参来提高性能) 1.  卡方检验 主要内容参考来自 http://blog.sina.com.cn/s/blog_6622f5c30101datu.html 卡方检验的思想是同过观察实际值与理论值的偏差来确定理论正确与否.原假设H0( null hypothesis…

不多说,直接上干货! RFormula算法介绍: RFormula通过R模型公式来选择列.支持R操作中的部分操作,包括‘~’, ‘.’, ‘:’, ‘+’以及‘-‘,基本操作如下: 1. ~分隔目标和对象 2.+合并对象,“+ 0”意味着删除空格 3. :交互(数值相乘,类别二值化) 4.. 除了目标外的全部列 假设a和b为两列: 1.y ~ a + b表示模型y ~ w0 + w1 * a +w2 * b其中w0为截距,w1和w2为相关系数. 2. y ~a + b + a:b – 1表示模型…

不多说,直接上干货! VectorSlicer 算法介绍: VectorSlicer是一个转换器,输入特征向量,输出原始特征向量子集.VectorSlicer接收带有特定索引的向量列,通过对这些索引的值进行筛选得到新的向量集. 可接受如下两种索引: 1.整数索引,setIndices(). 2.字符串索引代表向量中特征的名字,此类要求向量列有AttributeGroup,因为该工具根据Attribute来匹配名字字段. 指定整数或者字符串类型都是可以的. 另外,同时使用整数索引和字符串名字也是可…

今天看了一篇 ECML 14 的文章(如题),记录一下. 原文链接:http://link.springer.com/chapter/10.1007/978-3-662-44848-9_38 这篇文章提出了一个显式考虑 x 与 y 之间的相关性的 lasso 算法. 方法很简单,就是用 μj=(1 - |rho(aj, y)|)2 作为回归系数 βj 的惩罚系数. 如下图: 所以每个回归系数的惩罚都不同,与 y 相关性越大的变量,惩罚系数 μj 就越小,相应的 βj 就越不可能为 0. 这篇文章…

1 Why? Reason1 Knowledge Discovery (about human beings limitaitons) Reason2 Cause of Dimensionality (维度灾难) (about ML algorithm itself) 所需的数据量会根据你所拥有的特征数量以指数速度增长 2 NP-Hard Problem arbitrarily choose m features from n features (m≤n),don't know what m t…

#datalibrary(lars)data(diabetes)attach(diabetes) #glmnetlibrary(glmnet)library(foreach)library(Matrix)gt <- cv.glmnet(x, y, nfolds = 10) # plot(gt) gt.coef <- coef(gt$glmnet.fit, s = gt$lambda.1se)gt.coefgt.coef[which(gt.coef != 0)] rownames(gt.coef…

不多说,直接上干货! .…

…

Abstract • 使用自表示模型提取特征间的关系,结构保留约束来保持数据的局部流形结构: 1  Introduction • Contributions: (1)提出基于自表示模型的特征选择: (2)一个结构保留约束添加到目标函数来保留数据的局部流形结构,所以模型同时局部结构学习和特征选择: (3)一个有效的交替迭代算法被提出,收敛性能被证明: (4)实验结果表明算法的优越性. 2  Related work • 无监督特征选择算法有三种:filter, wrapper, embedded:…

补充:https://bmcbioinformatics.biomedcentral.com/articles/10.1186/1471-2105-15-276 如果用arima的话,还不如使用随机森林... 原文地址:https://medium.com/open-machine-learning-course/open-machine-learning-course-topic-9-time-series-analysis-in-python-a270cb05e0b3 数据集样子: y ti…

下面使用Adventure Works数据库中的Target Mail作例子,通过建立分类树和神经网络模型,决策树用来预测哪些人会响应促销,神经网络用来预测年收入. Target Mail数据在SQL Server样本数据库AdventureWorksDW中的dbo.vTargetMail视图,关于Target Mail详见: http://technet.microsoft.com/zh-cn/library/ms124623.aspx#DataMining 或者我之前的随笔: http://…