因子分析

因子分析

  • 降维的一种方法,是主成分分析的推广和发展
  • 是用于分析隐藏在表面现象背后的因子作用的统计模型。试图用最少的个数的不可测的公共因子的线性函数与特殊因子之和来描述原来观测的每一分量

因子分析的主要用途

  • 减少分析变量的个数
  • 通过对变量间相关关系的探测,将原始变量分组,即将相关性高的变量分为一组,用共性因子来代替该变量
  • 使问题背后的业务因素的意义更加清晰呈现

与主成分分析的区别

  • 主成分分析侧重“变异量”,通过转换原始变量为新的组合变量使到数据的“变异量”最大,从而能把样本个体之间的差异最大化,但得出来的主成分往往从业务场景的角度难以解释
  • 因子分析更重视相关变量的“共变异量”,组合的是相关性较强的原始变量,目的是找到在背后起作用的少量关键因子,因子分析的结果往往更容易用业务知识去加以解释

因子分析使用了复杂的数学手段

  • 比主成分分析更加复杂的数学模型
  • 求解模型的方法:主成分法、主因子法、极大似然法
  • 结果还可以通过因子旋转,使到业务意义更加明显

数学模型

1.数学模型

是可观测的随机向量,且



因子分析的一般模型为

化简可表示为:







2.因子模型的性质

(1)的分解

(2)模型不受单位的影响,若,则有

其中

(3)因子载荷不是唯一的,设是一阶正交矩阵,令,则模型可表示为

证明:

3.因子载荷矩阵的统计意义

(1)

即因子载荷是第个变量与第个公共因子的相关系数,由于的线性组合,所以系数是用来度量可由线性组合表示的程度

(2)令,则有

反映了公共因子对原始变量的影响,可以看成是公共因子对的方差贡献,称为变量的共同度(communality)或共性方差(common variance);而是特殊因子的方差贡献,称为变量特殊方差(specifie variance),当为各分量已标准化的随机变量,此时有

(3)令,则有

反映了公共因子的影响,是衡量公共因子重要性的一个尺度,可视为公共因子的总方差贡献。

因子载荷矩阵和特殊方差矩阵的估计

  • 主成分法
  • 主因子法(略)
  • 极大似然法(略)

主成分法

设样本的协方差阵S的特征值为,相应单位正交特征向量为,则S有谱分解式

当最后一个个特征值较小时,可近似地分解成

其中

就是因子模型的一个解。载荷矩阵A中的第列和的第个成分的系数相差一个倍数。固由上式给出的这个解称为因子模型的主成分解。

当相关变量所取单位不同时,常常先对变量标准化,标准化变量的样本协方差阵是原始变量的样本相关阵,再用代替,与上类似,即可得主成分解。

下面是R程序(文件名:factor.analy1.R):

 factor.analy1<-function(S, m){
p<-nrow(S); diag_S<-diag(S); sum_rank<-sum(diag_S)
rowname<-paste("X", 1:p, sep="")
colname<-paste("Factor", 1:m, sep="")
A<-matrix(0, nrow=p, ncol=m,
dimnames=list(rowname, colname))
eig<-eigen(S)
for (i in 1:m)
A[,i]<-sqrt(eig$values[i])*eig$vectors[,i]
h<-diag(A%*%t(A))

rowname<-c("SS loadings", "Proportion Var", "Cumulative Var")
B<-matrix(0, nrow=3, ncol=m,
dimnames=list(rowname, colname))
for (i in 1:m){
B[1,i]<-sum(A[,i]^2)
B[2,i]<-B[1,i]/sum_rank
B[3,i]<-sum(B[1,1:i])/sum_rank
}
method<-c("Principal Component Method")
list(method=method, loadings=A,
var=cbind(common=h, spcific=diag_S-h), B=B)
}

函数输入值是样本方差阵或相关矩阵,是主因子的个数。函数的输出值是列表形式,其内容有估计参数的方法(主成分法),因子载荷(loadings),共性方差和特殊方差,以及因子对变量的共献、贡献率和累计贡献率。

方差最大的正交旋转

因子分析的目的不仅是求出公共因子,更主要的是应该知道每个公因子的实际意义,但由于前面的估计方法所求出的公因子解,其初始因子载荷矩阵并不满足“简单结构准则”,即各个公因子的典型代表变量很不突出,因而更容易使公因子的实际意义含糊不清,不利用对因子的解释。为此,必须对因子载荷矩阵施行旋转变换,使得因子载荷的每一列各元素的平方按列向0或1两极转化,达到其结构简化的目的。

varimax(x,normalize=T,eps=1e-5)

其中x是因子载荷矩阵,normalize是逻辑变量,即是否对变量进行Kaiser正则化,eps是迭代终止精度。

例子

对55个国家和地区的男子径赛记录作统计,每位运动员记录8项指标:100米跑()、200米跑()、400米跑()、800米跑()、1500米跑()、5000米跑()、10000米跑()、马拉松().八项指标的相关矩阵如下表,取,用主成分法估计因子载荷和共性方差等指标

解:

输入相关矩阵,用上面的函数factor.analy1()主成分法估计载荷和相关指标

> x<-c(1.000,
+ 0.923, 1.000,
+ 0.841, 0.851, 1.000,
+ 0.756, 0.807, 0.870, 1.000,
+ 0.700, 0.775, 0.835, 0.918, 1.000,
+ 0.619, 0.695, 0.779, 0.864, 0.928, 1.000,
+ 0.633, 0.697, 0.787, 0.869, 0.935, 0.975, 1.000,
+ 0.520, 0.596, 0.705, 0.806, 0.866, 0.932, 0.943, 1.000)
> names<-c("X1", "X2", "X3", "X4", "X5", "X6", "X7", "X8")
> R<-matrix(0, nrow=8, ncol=8, dimnames=list(names, names))
> for (i in 1:8){
+ for (j in 1:i){
+ R[i,j]<-x[(i-1)*i/2+j]; R[j,i]<-R[i,j]
+ }
+ }
> source("factor.analy1.R")
> fa<-factor.analy1(R, m=2); fa
$method
[1] "Principal Component Method"

$loadings
Factor1 Factor2
X1 -0.8171700 -0.53109531
X2 -0.8672869 -0.43271347
X3 -0.9151671 -0.23251311
X4 -0.9487413 -0.01184826
X5 -0.9593762 0.13147503
X6 -0.9376630 0.29267677
X7 -0.9439737 0.28707618
X8 -0.8798085 0.41117192

$var
common spcific
X1 0.9498290 0.05017099
X2 0.9394274 0.06057257
X3 0.8915931 0.10840689
X4 0.9002505 0.09974954
X5 0.9376883 0.06231171
X6 0.9648716 0.03512837
X7 0.9734990 0.02650100
X8 0.9431254 0.05687460

$B
Factor1 Factor2
SS loadings 6.6223580 0.8779264
Proportion Var 0.8277947 0.1097408
Cumulative Var 0.8277947 0.9375355

若记

可以证明,

选择适当,则近似公式的误差平方和很小

> E<-R-fa$loadings%*%t(fa$loadings)-diag(fa$var[,2])
> sum(E^2)
[1] 0.01740023

公因子个数的确定方法一般有两种,一是根据实际问题的意义或专业理论知识来确定;二是用确定主成分个数的原则,选为满足:

的最小个数(比如取

下面做旋转变换,使其方差达最大:

> vm1<-varimax(fa$loadings,normalize=F);vm1
$loadings

Loadings:
Factor1 Factor2
X1 -0.278 -0.934
X2 -0.380 -0.891
X3 -0.547 -0.770
X4 -0.715 -0.624
X5 -0.816 -0.521
X6 -0.904 -0.385
X7 -0.905 -0.393
X8 -0.937 -0.257

Factor1 Factor2
SS loadings 4.211 3.289
Proportion Var 0.526 0.411
Cumulative Var 0.526 0.938

$rotmat
[,1] [,2]
[1,] 0.7617765 0.6478399
[2,] -0.6478399 0.7617765

R与数据分析旧笔记(十八完结) 因子分析的更多相关文章

  1. R与数据分析旧笔记(八)多重共线性

    多重共线性(线性代数叫线性相关) 多重共线性(线性代数叫线性相关) 1.什么是多重共线性 2.多重共线性对回归模型的影响 3.利用计算特征根发现多重共线性 4.Kappa()函数 例题1 考虑一个有六 ...

  2. R与数据分析旧笔记(十六) 基于密度的方法:DBSCAN

    基于密度的方法:DBSCAN 基于密度的方法:DBSCAN DBSCAN=Density-Based Spatial Clustering of Applications with Noise 本算法 ...

  3. R与数据分析旧笔记(十五) 基于有代表性的点的技术:K中心聚类法

    基于有代表性的点的技术:K中心聚类法 基于有代表性的点的技术:K中心聚类法 算法步骤 随机选择k个点作为"中心点" 计算剩余的点到这个k中心点的距离,每个点被分配到最近的中心点组成 ...

  4. R与数据分析旧笔记(十四) 动态聚类:K-means

    动态聚类:K-means方法 动态聚类:K-means方法 算法 选择K个点作为初始质心 将每个点指派到最近的质心,形成K个簇(聚类) 重新计算每个簇的质心 重复2-3直至质心不发生变化 kmeans ...

  5. R与数据分析旧笔记(十二)分类 (支持向量机)

    支持向量机(SVM) 支持向量机(SVM) 问题的提出:最优分离平面(决策边界) 优化目标 决策边界边缘距离最远 数学模型 问题转化为凸优化 拉格朗日乘子法--未知数太多 KKT变换和对偶公式 问题的 ...

  6. R与数据分析旧笔记(十)非线性模型

    非线性模型 非线性模型 例子:销售额x与流通费率y > x=c(1.5,2.8,4.5,7.5,10.5,13.5,15.1,16.5,19.5,22.5,24.5,26.5)> y=c( ...

  7. R与数据分析旧笔记(⑦)回归诊断

    回归诊断 回归诊断 1.样本是否符合正态分布假设? 2.是否存在离群值导致模型发生较大误差? 3.线性模型是否合理? 4.误差是否满足独立性.等方差.正态分布等假设条件? 5.是否存在多重共线性 正态 ...

  8. R与数据分析旧笔记(五)数学分析基本

    R语言的各种分布函数 rnorm(n,mean=0,sd=1)#高斯(正态) rexp(n,rate=1)#指数 rgamma(n,shape,scale=1)#γ分布 rpois(n,lambda) ...

  9. R与数据分析旧笔记(三)不知道取什么题目

    连线图 > a=c(2,3,4,5,6) > b=c(4,7,8,9,12) > plot(a,b,type="l") 多条曲线效果 plot(rain$Toky ...

随机推荐

  1. The Tips of Success(成功的建议)

    1.Do one thing at a time,and do well. 2.Never forget to say "thanks". 3,Keep on going.Neve ...

  2. JAVA GC之标记 第五节

    JAVA GC之标记  第五节 OK,我们继续昨天最后留下的问题,什么是标记?怎么标记? 第一个问题相信大家都知道,标记就是对一些已死的对象打上记号,方便垃圾收集器的清理. 至于怎么标记,一般有两种方 ...

  3. mac os vim 乱码

    yum -y groupinstall chinese-support vim /etc/sysconfig/i18n LANG="zh_CN.UTF-8" LANGUAGE=&q ...

  4. Nginx与Tomcat安装、配置与优化

    Nginx与Tomcat安装.配置与优化 Nginx与Tomcat安装.配置与优化 Nginx的安装与使用 Nginx是一款优秀的反向代理服务器 安装: rpm(或者是pkg安装),是预编译好的程序包 ...

  5. Python进阶之函数式编程(把函数作为参数)

    什么是函数式编程? 什么是函数式编程? 函数:function 函数式:functional,一种编程范式 函数式编程是一种抽象计算的编程模式 函数≠函数式,比如:计算≠计算机 在计算机当中,计算机硬 ...

  6. 深入A标签点击触发事件而不跳转的详解

    本文介绍下,当点击A标签时,触发事件但不跳转的实现方法,有需要的朋友参考下吧. 点击页面上的空链接,点击后页面自动刷新,并会定位到页面顶端. 不过,有时需要点击#页面但不作跳转,可以这样写: < ...

  7. 使用jQuery出现the function undefined

    出现function undefined往往是相关的JS文件没有导入导致,在相关文件都导入的情况下,使用jQuery提供的方法还会出现function undefined错误,或许就是jQuery对象 ...

  8. php将xml文件转化为数组:simplexml_load_string

    <?php $str = <<<XML <?xml version="1.0" encoding="ISO-8859-1"?> ...

  9. Ajax中XML和JSON格式的优劣比较

    刚做完一个小的使用Ajax的项目.整个小项目使用JavaScript做客户端,使用PHP做服务器端.利用xmlHttpRequest组件作为交互工具,利用XML作为数据传输的格式.做完后基本做一个简单 ...

  10. Moutain Tai notes

    rest 40shaxian 18 drumsticks  13零食 11.5+21车费5门票62大衣10面14 > 194.5 notes :::: 岗位职责:1.基于Drupal系统的产品功 ...