R语言入门视频笔记--9--随机与数据描述分析

古典概型的样本总量是一定的，且每种可能的可能性是相同的，

1、中位数：median(x)

2、百分位数：quantile(x)或者quantile(x,probe=seq(0,1,0.2))　　#后面这个是设置参数，零到一的范围，每隔0.2算一次

　　不知道叫啥的很方便的函数：fivenum(x,na.rm=TRUE)　　#输出五个数最大值、最小值、下四分位数、上四分位数、中位数

3、协方差：用于看两组数据之间的关系，看看是不是有一定的关联性

　　他有一个相关系数r，r越接近1，则相关性越高，反之，越接近零就越低

　　cov(x[2:4])　　#这就是求协方差矩阵

　　cor(x[2:4])　　#这是求协方差r矩阵

4、研究变量之间的关系：

　　1、函数关系：有精确地函数表达式，关系非常明确，比如银行利率和收益的关系

　　2、相关关系：非确定关系，有关系蛋是没那么明确，比如身高和体重的关系，可分为下面的两种

　　　　　　一、平行关系：相关分析（一元、多元），比如一个人的物理成绩与数学成绩好坏的关系，表面看起来是有很强的相关的，其实是背后有很多因素起作用

　　　　　　　　　　　　　　cor.test(x1,x2)（相关系数显著性的假设检验）　　　　#输出的数据时：95%可信度下，相关系数所在的范围

　　　　　　二、依存关系：回归分析（一元、多元），一个变量决定另一个变量，起决定作用的是自变量，另一个是因变量,x是自变量，y是因变量

　　　　　　　　　　　　　　　　lm(y~1+x)　　#一元线性回归分析，会输出它的公式，截距和斜率。其调用形式是：fitted.model <- lm(formula,data=data.frame)

　　　　　　　　　　　　　　　　　　　　 #formula是公式   data.frame为数据框  结果放在fitted.model中

　　　　　　　　　　　　　　　　　　　　 #例如 fm2<-lm(y~x1+x2,data=production)　　　适应于y关于x1和x2的多元回归模型

　　　　　　　　　　　　　　　　　　　　  #y~1+x或者y~x均表示y=a+bx有截距形式的线性模型。而通过原点的线性模型可以表达为：y~x-1或y~x+0或y~0+x

　　　　　　　　　　　　　　　　 summary：使用summary(里面放回归分析的结果)，来更详细的参数与结果，coefficients这一栏是描述计算的结果，后面的Pr(>|t|)是p_value，

　　　　　　　　　　　　　　　　　　　 算出的值对于这组数据合不合理，越小越好最后面星号越多越好，说明结果算的很好，模型建得很好，有时可能是两颗星，一颗星，

　　　　　　　　　　　　　　　　　　　 甚至一个点，甚至连一个点都没有，说明算出来的东西越不合理。

　　　　　　　　　　　　　　　　　　　 做这个线性回归是有前提的：1、这个样本变量是正态分布的2、自变量和因变量是线性的关系，如果这两个前提有一个不满足，

　　　　　　　　　　　　　　　　　　　 则这个模型的合理性和准确性不能保证。有一个检验模型合不合理的指标，就是Multiple R-squared，也就是R的平方

　　　　　　　　　　　　　　　　　　　　，相关系数平方，越接近一越合理。函数最下面的结果是F检验和它的p值

　　　　　　　　　　　　　　　　   anova：方差分析函数，anova()，也可以得到summary函数结果的一部分，也只有一部分

　　　　　　　　　　　　　　　　　predict：z=data.frame(x=185) ; predict(a,z)　　#这是一个预测函数，a是已经建好的线性模型，z是输入的数值，可以得到结果，很方便

　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　多元回归：不止两组数据进行线性回归的计算，可能有三个四个五个数据进行，就要用到一些分析方法，比如逐步回归：其有两种方式，

　　　　　　　　　　　　　　　　　　　向前引用法（从零开始，加一组，再加一组，再加一组数据看看），向后剔除法（先把所有数据都算进去，减一组，再减一组，

　　　　　　　　　　　　　　　　　　　再减一组数据看看），逐步筛选法（一边加一边减）

　　　　　　　　　　　　　　　　　　　sl <- step(s,direction="forward")    这是多元线性回归的公式，direction="forward"   方向等于forward是向前引用法，

　　　　　　　　　　　　　　　　　　　　　　backward是向后剔除法，both是两者都有，这个函数是通过判断AIC的值来进行数据的删除和添加，知道找到最优组合

　　　　　　　　　　　　　　　　　　　　　　但有时这个全自动化的函数也会出错，这时候就需要手工去进行筛选，add1()增加 和 drop1()删除      这两个函数。

　　　　　　　　　　　　　　　　　　　　　　比如drop1(s)：s是已经用step函数处理过的模型，或者是新lm模型，然后会告诉你删除其中一个数据，

　　　　　　　　　　　　　　　　　　　　　　AIC的变化，然后你可以根据它的结果重新建立模型，再去看这个模型怎么样

　　　　　　　　　　　　　　　　　　　会用到进行lm的更新，公式：new_lm<-updata(原来的lm, .~. , +新的数据)，这是加入新的数据，减去原来的是一组数据，可以把

　　　　　　　　　　　　　　　　　　　加号变为减号，减号后面是你要删除的数据

　　　　　　　　　　　　　　　　　　　得出一个好的结果靠这些指标衡量：RSS（Residual standard error：残差平方和）越小越好

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　R的平方(Multiple R-squared：相关性系数)  越大越接近1越好

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　AIC（Akaike information criterion : 赤池信息准则  越小越好（大多数时候是非常好用的，但有时候是不好用的）

5、回归诊断　　　　　　　　　　　　　　　　　　　

通常回归诊断需要诊断都有下面这些东西：

　　1、样本是否符合正态分布假设？　　　　　　　　　　　　

　　　　有些数据是符合的，有些是不符合的，所以需要我们了解样本是不是正态分布

　　2、是否存在离群值导致模型产生较大误差？　　　　　　

　　　　数据是抽提出来的，误差不能避免，有时正、负误差会抵消掉，对结果就没有影响。但有时候误差会偏离正常值很远的数据，这种数据我们叫它离群值，离群值对模型

　　的影响非常大，可能使得这个模型跟它原本的模样完全的偏离

　　　　如何发现这些离群值并把它剔除出去，使得这个模型回归正轨，这也是回归诊断中需要讨论的东西

　　3、线性模型是否合理？

　　　　我们假设这个关系是线性的，但是自然界中有很多关系未必是线性的，可能是二次多项式，也可能是一个指数的关系，还可能是更复杂的关系，

　　甚至有的时候我们没办法写出它的表达式。我们需要知道我们做这个线性的假设是否合理，我们怎么样去判断

　　4、误差是否满足独立性、等方差、正态分布等假设条件

　　　　误差一般也是满足独立性、等方差、正态分布的，所谓独立性是指误差与y，也就是因变量是没有关系的，误差不会随着y的值变化。

　　我们也要确定误差是否满足上述条件

　　　　还有自变量中真正独立的有哪些？这里的所谓独立是指：这个自变量不会跟随其他自变量变化

　　5、是否存在多重共线性？

　　　　 多重共线性：所有的自变量中，有不是真正独立的自变量，这种情况可能会产生一个情况，就是计算过程中出现的一些矩阵是不可逆的，表现出来的就是这个矩阵的

　　行列式或者是这个矩阵的最小特征值非常接近零。由于在求回归模型的过程中需要求这矩阵的逆，如果这个矩阵是在这种非常接近不可逆的情况下，那很可能这个误差

　　非常非常的大，使得这个模型基本上失去了意义

一、正态分布检验

函数：shopiro.test()　　#如果算出来是不符合的就可以认为样本不符合正态分布，如果符合就认为它符合正态分布

　　shopiro.test(x$x1)　　#如果这个的结果中的p-value很小，就说明这个统计学意义很明显，需要拒绝假设，也就是说这个样本是不符合正态分布的。如果这个p-value很接近一

　　　　　　　　　　　　　说明这个样本不能被否定为不是正态分布，也就可以认识它是正态分布

二、多重共线性检验

这里的检验原理是，把样本的数据组成一个矩阵，再乘以它的转置得到一个新的矩阵，然后再求这个矩阵的特征根，用特征根的最大值除以最小值，得到一个比值，这个值就叫kappa值，一般若kappa值小于100，就认为多重共线性的程度很小，若在100~1000之间，就认为存在中等程度或较强的多重共线性。若kappa>1000，则认为存在严重的多重共线性

函数/步骤：1、先data.frame()把数据组合好

　　　　　 2、在使用cor()求相关系数矩阵

　　    　　 3、kappa()　　　#得到kappa值

　　   　　  4、eigen(x)　　　#这个函数是用来求矩阵的特征根，在这里主要是看哪个样本中有很严重的多重共线性

1、广义回归线性模型

有时这个模型不是标准的线性的，我们也想给他做出来，这时候可以用广义线性模型

函数/步骤：1、先用data.frame()把数据组合好

　　　　　 2、glm(模型,family=binormal,data=xx)  #family=binormal    的意思就是我们的因变量是二元的，1或者0。比如牛张不张嘴，张就是1，不张就是0

　　　　　 3、最后得到P=exp(y的系数+x的系数*x) / (1+exp(y的系数+x的系数*x))

2、非线性回归

有时这个线就是曲线，这时候就不能用线性回归，就要用有曲线的。

比如　　x <- lm(y~log(x))　　y <-lm(log(y)~x)　　z <- lm(log(y)~log(x))这些东西

拟合的问题：拟合不足（把幂函数拟合为直线），过度拟合（把误差都算进去，导致输入正确的数会偏离非常大）

R软件中有一个函数：nls()--非线性模型的参数估计　　　　视频里面没有仔细讲  就算了吧^-^