一.协方差矩阵 协方差矩阵为对称矩阵. 在高斯分布中,方差越大,数据分布越分散,方差越小发,数据分布越集中. 在协方差矩阵中,假设矩阵为二维,若第二维的方差大于第一维的方差,则在图像上的体现就是:高斯分布呈现一个椭圆形,且主轴对应的就是方差大的第二维度.简而言之,若对角线元素相等,则高斯分布的图形是圆形,反之则分布图形为椭圆形. 若协方差矩阵的非对角元素为0,则高斯分布图形平行于坐标轴,反之则不平行. 为什么当样本数量远小于特征向量的维数n时,协方差逆矩阵不存在(矩阵不满秩)? 在多变量高斯分布…

1. 简介 因子分析是一种研究观测变量变动的共同原因和特殊原因, 从而达到简化变量结构目的的多元统计方法. 因子分析模型是主成分分析的推广, 也是利用降维的思想, 将复杂的原始变量归结为少数几个综合因子的一种多变量统计分析方法. 1.1 应用 寻求变量的基本结构, 简化变量系统. 用于分类, 根据因子得分值, 在因子轴所构成的空间中将变量或者样本进行分类 (能够分析样品间差异的原因). 1.2 类型 R型因子分析: 研究变量之间的相关关系. Q型因子分析: 研究样本之间的相关关系. 2. 因子分…

上一篇笔记中,介绍了因子分析模型,因子分析模型使用d维子空间的隐含变量z来拟合训练数据,所以实际上因子分析模型是一种数据降维的方法,它基于一个概率模型,使用EM算法来预计參数. 本篇主要介绍PCA(Principal Components Analysis, 主成分分析),也是一种降维方法,可是该方法比較直接,仅仅需计算特征向量就能够进行降维了.本篇相应的视频是公开课的第14个视频,该视频的前半部分为因子分析模型的EM求解,已写入笔记13,本篇仅仅是后半部分的笔记,所以内容较少.…

因子分析 有可能用较少的综合指标分析存在于各变量中的各类信息,而各综合指标之间彼此是不相关的,代表各类信息的综合指标称为因子.定义:因子分析就是用少数几个因子来描述许多指标或因素之间的联系,以较少几个因子反映原资料的 大部分信息的统计学方法.因子分析有下面4个基本步骤:(1)确定待分析的原有若干变量是否适合于因子分析 最简单的方法就是计算变量之间的相关系数矩阵.如果相关系数矩阵在进行 统计检验中,大部分相关系数都小于0.3,并且未通过统计检验,那么这些变量就 不适合于进行因子分析.(2)构造因子…

1.引言 在高斯混合和EM算法中,我们运用EM算法拟合混合模型,但是我们得考虑得需要多少的样本数据才能准确识别出数据中的多个高斯模型!看下面两种情况的分析: 第一种情况假如有 m 个样本,每个样本的维度是 n, 如果 n » m, 这时哪怕拟合出一个高斯模型都很困难,更不用说高斯混合, 为什么呢? 这和解多元线性方程组是一样的道理,就是自变量的个数多于非线性相关的方程的个数,这必然导致解的不唯一,虽然在解方程的时候可以随便选一个解满足方程组,但是对于某一实际数据集,往往样本对应的概率分布在客观上…

本节课内容: 因子分析 ---因子分析中的EM步骤的推导过程 主成份分析:有效地降低维度的方法 因子分析 混合高斯模型的问题 接下来讨论因子分析模型,在介绍因子分析模型之前,先看高斯分布的另一种写法,该写法是推导因子分析模型的基础. 高斯分布的矩阵写法 因子分析模型 因子分析模型的推导 EM 求解参数 PCA(Principal  Components  Analysis,  主成分分析),也是一种降维方法 主要介绍 PCA(Principal  Components  Analysis,  主…

本节内容: 1.混合高斯模型: 2.将混合高斯模型应用到混合贝叶斯模型:(应用:文本聚类) 3.结合EM算法,讨论因子分析算法: 4.高斯分布的有用性质. 混合高斯模型 将一般化的EM算法流程(下载笔记)应用到混合高斯模型 因子分析模型 因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系,即将相关比较密切的几个变量归在同一类中,每一类变量就成为一个因子,以较少的几个因子反映原资料的大部分信息.运用这种研究技术,我们可以方便地找出影响消费者购买.消费以及满意度的主要因素是哪些,以及…

原文地址:http://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html 1 问题 之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n,这样不管是进行回归.聚类等都没有太大的问题.然而当训练样例个数m太小,甚至m<<n的时候,使用梯度下降法进行回归时,如果初值不同,得到的参数结果会有很大偏差(因为方程数小于参数个数).另外,如果使用多元高斯分布(Multivariate Gaussian distribution)对数据…

1. PCA优缺点 利用PCA达到降维目的,避免高维灾难. PCA把所有样本当作一个整体处理,忽略了类别属性,所以其丢掉的某些属性可能正好包含了重要的分类信息 2. PCA原理 条件1:给定一个m*n的数据矩阵D, 其协方差矩阵为S. 如果D经过预处理, 使得每个每个属性的均值均为0, 则有S=DTDS=DTD. PCA的目标是找到一个满足如下性质的数据变换: - 每对不同的新属性的协方差为0,即属性间相互独立: - 属性按照每个属性捕获的数据方差大小进行排序: - 第一个属性捕获尽可能多的数据…

本文对应<R语言实战>第14章:主成分和因子分析 主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量成为主成分. 探索性因子分析(EFA)是一系列用来发现一组变量的潜在结构的方法.通过寻找一组更小的.潜在的或隐藏的结构来解释已观测到的.显式的变量间的关系. 这两种方法都需要大样本来支撑稳定的结果,但是多大是足够的也是一个复杂的问题.目前,数据分析师常使用经验法则:因子分析需要5~10倍于变量数的样本数.另外有研究表明,所需样本量依赖于因子数目.与…

题注:主成分分析分析与因子分析也有不同,主成分分析仅仅是变量变换,而因子分析需要构造因子模型.主成分分析:原始变量的线性组合表示新的综合变量,即主成分:因子分析:潜在的假想变量和随机影响变量的线性组合表示原始变量.因子分析与回归分析不同,因子分析中的因子是一个比较抽象的概念,而回归因子有非常明确的实际意义! 一. 问题引入 你是否曾经遇到过以下问题: 二. 概念 1. 高中大家都读过吧?(没读过怎么可能看到我这篇文章,真闹心,哈哈!)那是一个以成绩论英雄的时代,理科王子.文科小生是时代标签!对一…

因子分析和PCA 定义 因子分析就是数据降维工具.从一组相关变量中删除冗余或重复,把相关的变量放在一个因子中,实在不相关的因子有可能被删掉.用一组较小的“派生”变量表示相关变量,这个派生就是新的因子.形成彼此相对独立的因素,就是说新的因子彼此之间正交. 应用 筛选变量. 步骤 3.1计算所有变量的相关矩阵 3.2要素提取,仅在此处需要使用PCA 3.3要素轮换 3.4就基本因素的数量作出最后决定   3.1计算所有变量的相关矩阵 构建数据矩阵,该数据矩阵是相关矩阵(矩阵里面全是相关系数),PCA…

课程视频地址:http://open.163.com/special/opencourse/machinelearning.html 课程主页:http://cs229.stanford.edu/ 更具体的资料链接:https://www.jianshu.com/p/0a6ef31ff77a 笔记参考自中文翻译版:https://github.com/Kivy-CN/Stanford-CS-229-CN 这一讲介绍EM算法和因子分析,回顾了高斯混合模型. 回顾EM算法 重复直到收敛 (E步骤)对…

鸟枪换炮,利用python3对球员做大数据降维(因子分析得分),为C罗找到合格僚机 原文转载自「刘悦的技术博客」https://v3u.cn/a_id_176 众所周知,尤文图斯需要一座欧冠奖杯,C罗也还想再拿一座欧冠奖杯,为自己的荣誉簙上锦上添花.意甲霸主在意甲虽然风生水起,予取予求,但是在今年欧冠1/8决赛赛场上,被法甲球队里昂所淘汰,痛定思痛,球队解雇了主教练萨里,签约名宿皮尔洛,但是要想在欧冠赛场上夺冠,这还不够,球队还需要什么?没错,需要一名强力中锋,在正印中锋伊瓜因难堪大用的情况下,…

完成R Programming第三周 这周作业有点绕,更多地是通过一个缓存逆矩阵的案例,向我们示范[词法作用域 Lexical Scopping]的功效.但是作业里给出的函数有点绕口,花费了我们蛮多心思. Lexical Scopping: The value of free variables are searched for in the environment where the function was defined. 因此 make.power<-function(n){ pow<…

对于公钥系统,我们现在已经有了保证它 Confidentially 的一种方法:SSL.SSL利用了公钥的概念. 那么 who we are talking to? Integrity Certificate Authorities Integrity 服务器发送给我们的公钥,是加以签名(signed)的,被 third-party certification authority 认证(validated). 我们并不是从 Coursera 得到的证书,而是从 GoDaddy 处得到的认证的证书…

课程网址:https://www.coursera.org/learn/internet-history 学习笔记: Week 1: History - Dawn of Early Computing (1940 - 1960) War Time Computing and Conmmunication - High Stakes Research in Computing, and Communication 二战刺激了政府对各种科技的研究投入,由此促进了计算机技术的发展,其中就包括电子计算机…

当底层实现涉及到扩容时,容器或重新分配一段更大的连续内存(如果是离散分配则不需要重新分配,离散分配都是插入新元素时动态分配内存),要将容器原来的数据全部复制到新的内存上,这无疑使效率大大降低. 加载因子的系数小于等于1,意指  即当 元素个数 超过 容量长度*加载因子的系数 时,进行扩容. 另外,扩容也是有默认的倍数的,不同的容器扩容情况不同. List 元素是有序的.可重复 ArrayList.Vector默认初始容量为10 Vector:线程安全,但速度慢 底层数据结构是数组结构 加载因子为…

https://www.patest.cn/contests/gplt/L1-006 题目地址 在上面 一个正整数N的因子中可能存在若干连续的数字.例如630可以分解为3*5*6*7,其中5.6.7就是3个连续的数字.给定任一正整数N,要求编写程序求出最长连续因子的个数,并输出最小的连续因子序列. 输入格式: 输入在一行中给出一个正整数N(1<N<231). 输出格式: 首先在第1行输出最长连续因子的个数:然后在第2行中按“因子1*因子2*……*因子k”的格式输出最小的连续因子序列,其中因子按…

Happy 2004 题意:s为2004^x的因子和,求s%29.     (题于文末) 知识点: 素因子分解:n = p1 ^ e1 * p2 ^ e2 *..........*pn ^ en 因子和:    Sum=(p1^0+p1^1-.p1^e1)*(p2^0+p2^1-p2^e2)--(pn^0+-pn^en) =; 积性函数:s(xy)=s(x)*s(y)    (比如:幂函数,因子和,欧拉函数,莫比乌斯函数) 对于正整数n的一个算术函数 f(n),若f(1)=1,且当a,b互质时f…

总时间限制:  1000ms 内存限制:  65536kB 描述 任意输入两个正整数m, n (1 < m < n <= 5000),依次输出m到n之间每个数的最大质因子(包括m和n:如果某个数本身是质数,则输出这个数自身). 输入 一行,包含两个正整数m和n,其间以单个空格间隔. 输出 一行,每个整数的最大质因子,以逗号间隔. 样例输入 5 10 样例输出 5,3,7,2,3,5 还是水题.. 查看 #include <iostream> #include <cstr…

地址:https://www.coursera.org/learn/java-chengxu-sheji/home/welcome 复习天昏地暗,看点视频调剂一下.发现这个讲的还是很不错的.北大毕竟比我工不知道高到哪里去了. 是不是反汇编给你看看 走神了立马拉回来 唯一要注意的就是要以两倍速度看.PPT和Demo要好好消化.而且还有Java8的lamada表达式,很excited!…

若向平衡二叉树中插入一个新结点后破坏了平衡二叉树的平衡性.首先要找出插入新结点后失去平衡的最小子树根结点的指针.然后再调整这个子树中有关结点之间的链接关系,使之成为新的平衡子树.当失去平衡的最小子树被调整为平衡子树后,原有其他所有不平衡子树无需调整,整个二叉排序树就又成为一棵平衡二叉树. 失去平衡的最小子树是指以离插入结点最近,且平衡因子绝对值大于 1 的结点作为根的子树.假设用 A 表示失去平衡的最小子树的根结点,则调整该子树的操作可归纳为下列四种情况. ( 1 ) LL 型平衡旋转法 由于在…

K的因子中只包含2 3 5.满足条件的前10个数是:2,3,4,5,6,8,9,10,12,15. 所有这样的K组成了一个序列S,现在给出一个数n,求S中 >= 给定数的最小的数. 例如:n = 13,S中 >= 13的最小的数是15,所以输出15.   Input 第1行:一个数T,表示后面用作输入测试的数的数量.(1 <= T <= 10000) 第2 - T + 1行:每行1个数N(1 <= N <= 10^18) Output 共T行,每行1个数,输出>=…

RGCDQ 题意:F(x)表示x的质因子的种数.给区间[L,R],求max(GCD(F(i),F(j)) (L≤i<j≤R).(2<=L < R<=1000000) 题解:可以用素数筛求质因子种数(这不用多说,看下代码init()中内容就能理解).然而R的范围太大,会TLE.因此只能用空间换时间了. 可以用一个二维数组num[i][j] 保存x<=i&&F(x)=j的x的个数.(预处理,有点dp的思想) 2*3*5*7*11*13*17 > 10 ^ 6…

题意:给你k(≤100)个质数,求质因子只包含它们的第n大的数. 题解: 方法一:维护一个数组,一开始只有给出的质数在里面,用每个质数去乘以数组中每个数,然后归并排序,长度保留到n,一轮接一轮,直到乘出来的新出现的数大于原来最大的数,那么如果当前是用最小的质数都没产生新的前n大的数,那么第n个数就是第n大的数.否则跳转到用最小的质数去乘.具体见代码. /* TASK: humble LANG: C++ */ #include<cstdio> #include<algorithm>…

博客总目录,记录学习R与数据分析的一切:http://www.cnblogs.com/weibaar/p/4507801.html  --- 好久没发博客 且容我大吼一句 终于做完这周R Programming的作业了! 之前一直有报coursera的课程,但是总是没有坚持下去,这次收到他们的邮件推广,说data science系列课程开通了R语言的中文课程,有中文版论坛,有中文字幕,如此诚意满满,再不报名,就实在太落伍了. 为了让自己坚持,还花钱买了signature track,所以当这周五…

https://leetcode.com/problems/ugly-number-ii/ 刚开始,一看题以为用刷选法,但是当数据量大时明显不行.然后感觉用含2,3,5因子的个数当做进制来处理还是不行.最后看了提示,提示说这种数字相对增长快,所以只考虑这种数字,然后分成三组,按*2,*3,*5来取最小值进行递增.但还是不知怎么分组.最后看了人家的代码,用三个队列,一个保存*2的值,一个保存*3的值,一个保存*5的值,*2的队列去掉队首钱,要将该队首值*2,*3,*5分别入队.*3的队列去掉队首时…

pandas应用之分组因子暴露和分位数分析 首先感谢原书作者Mes McKinney和batteryhp网友的博文, 俺在此基础上继续探索python的神奇功能. 用A股的实际数据, 以书里的代码为蓝本, 做一些实证探索. 发现不少问题 pandas版本升级之后, 函数调用的方式必须相应地改变. 比如 pd.rolling_mean 升级为Series.rolling().mean()等等 tushare的数据与yahoo财经的数据格式上的差异, 需要规整化, 等等 至少会有两篇后续的博文详细记…

题目链接:http://www.lightoj.com/volume_showproblem.php?problem=1028 题目大意:n除了1有多少个因子(包括他本身) 解题思路:对于n的每个因子, 可以用n的所有素因子排列组合而来, n = (a1x1) * (a2 x2) * (a3x3)...*(anxn), 其中ai为n的素因子,那么n的因子的个数等同于(x1 + 1) * (x2 + 1) * (x3 + 1) ... * (xn + 1)中排列, 因为其中一种排列肯定为所有素因子…