逐步回归 向前引入法:从一元回归开始,逐步加快变量,使指标值达到最优为止 向后剔除法:从全变量回归方程开始,逐步删去某个变量,使指标值达到最优为止 逐步筛选法:综合上述两种方法 多元线性回归的核心问题:应该选择哪些变量? RSS(残差平方和)与R2(相关系数平方)选择法:遍历所有可能的组合,选出使RSS最小,R2最大的模型 AIC(Akaike information criterion)准则和BIC(Bayesian information criterion)准则 AIC=n×ln(RSSP…

> x=iris[which(iris$Species=="setosa"),1:4] > plot(x) 首先是简单的肉眼观察数据之间相关性 多元回归相较于一元回归的最主要困难可能就是变量的选择,如下面的例子 使用Swiss数据集(R内置) Swiss Fertility and Socioeconomic Indicators(1888) Data 建立多元线性回归 > s=lm(Fertility~.,data=swiss) > print(s) Call…

基于密度的方法:DBSCAN 基于密度的方法:DBSCAN DBSCAN=Density-Based Spatial Clustering of Applications with Noise 本算法将有足够高密度的区域划分为簇,并可以发现任何形状的聚类 若干概念 r-邻域:给定点半径r内的区域 核心点:如果一个点的r-邻域至少包含最少数目M个点,则称该点为核心点 直接密度可达:如果点p在核心点q的r-邻域内,则称p是从q出发可以直接密度可达 如果存在点链是从关于r和M直接密度可达 ,则称点p是…

R语言的各种分布函数 rnorm(n,mean=0,sd=1)#高斯(正态) rexp(n,rate=1)#指数 rgamma(n,shape,scale=1)#γ分布 rpois(n,lambda)#Poisson分布 rweibull(n,location=0,scale=1)#Weibull分布 rcauchy(n,location=0,scale=1)#Cauchy分布 rbeta(n,shape1,shape2)#β分布 rt(n,df)#t分布 rf(n,df1,df2)#F分布 r…

PART 1 PART 1 传统回归模型的困难 1.为什么一定是线性的?或某种非线性模型? 2.过分依赖于分析者的经验 3.对于非连续的离散数据难以处理 网格方法 <Science>上的文章<Detecting Novel Associations in Large Data Sets> 方法概要:用网格判断数据的集中程度,集中程度意味着是否有关联关系 方法具有一般性,即无论数据是怎样分布的,不限于特点的关联函数类型,此判断方法都是有效 方法具有等效性,计算的熵值和噪音的程度有关,…

多重共线性(线性代数叫线性相关) 多重共线性(线性代数叫线性相关) 1.什么是多重共线性 2.多重共线性对回归模型的影响 3.利用计算特征根发现多重共线性 4.Kappa()函数 例题1 考虑一个有六个回归自变量的线性回归问题,原始数据列在下表中,这里共有12组数据,除第一组外,自变量的其余11组数据满足线性关系 试用求矩阵条件数的方法,分析出自变量间存在多重共线性. 序号 1 10.006 8.000 1.000 1.000 1.000 0.541 -0.099 2 9.737 8.000 1…

回归诊断 回归诊断 1.样本是否符合正态分布假设? 2.是否存在离群值导致模型发生较大误差? 3.线性模型是否合理? 4.误差是否满足独立性.等方差.正态分布等假设条件? 5.是否存在多重共线性 正态分布检验:函数shapiro.test() P>0.05,正态分布 例题1 Anscomber数据 数据 1-3 1 2 3 4 4 号 X Y Y Y X Y 1 10.0 8.04 9.14 7.46 8.0 6.58 2 8.0 6.95 8.14 6.77 8.0 5.76 3 13.0 7…

连线图 > a=c(2,3,4,5,6) > b=c(4,7,8,9,12) > plot(a,b,type="l") 多条曲线效果 plot(rain$Tokyo,type="l",col="red",ylim=c(0,300), main="Monthly Rainfall in major cities", xlab="Month of Year", ylab="Rainf…

创建向量矩阵 > x1=c(2,3,6,8) > x2=c(1,2,3,4) > a1=(1:100) > length(a1) [1] 100 > length(x1) [1] 4 > mode(x1) [1] "numeric" > rbind(x1,x2) [,1] [,2] [,3] [,4] x1 2 3 6 8 x2 1 2 3 4 > cbind(x1,x2) x1 x2 [1,] 2 1 [2,] 3 2 [3,] 6 3…

因子分析 因子分析 降维的一种方法,是主成分分析的推广和发展 是用于分析隐藏在表面现象背后的因子作用的统计模型.试图用最少的个数的不可测的公共因子的线性函数与特殊因子之和来描述原来观测的每一分量 因子分析的主要用途 减少分析变量的个数 通过对变量间相关关系的探测,将原始变量分组,即将相关性高的变量分为一组,用共性因子来代替该变量 使问题背后的业务因素的意义更加清晰呈现 与主成分分析的区别 主成分分析侧重"变异量",通过转换原始变量为新的组合变量使到数据的"变异量"最…