Lecture5_1&5_2.随机变量的数字特征（数学期望、方差、协方差）

一、数学期望

1.离散型随机变量的数学期望

设X为离散随机变量，其概率分布为：P(X=x_k)=p_k

若无穷级数$\sum_{k=1}^{+\infty}x_kp_k$绝对收敛

（即满足$\sum_{k=1}^{+\infty}|x_kp_k|$收敛）

则称其为X的数学期望，记作$E(X)=\sum_{k=1}^{+\infty}x_kp_k$

二项分布,X~B(n,p),E(X)=np

泊松分布,X~P(λ),E(X)=λ

超几何分布,X~H(N,M,n),E(X)=nM/N

几何分布,X~GE(p),E(X)=1/p

2.连续型随机变量的数学期望

设连续型随机变量X的概率密度为f(x)

若广义积分$\int_{-\infty}^{+\infty}xf(x)dx$绝对收敛

则称此积分为X的数学期望

$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$

均匀分布,X~U[a,b],E(X)=(a+b)/2

指数分布,X~E(λ),E(X)=1/λ

正态分布,X~N(μ,σ²),E(X)=μ

卡方分布,X~Γ(α,β),E(X)=α/β

3.随机变量函数Y的数学期望

Y=g(X)

离散型,$E(Y)=\sum_{i=1}^{+\infty}g(x_i)p_i$

连续型,$E(Y)=\int_{-\infty}^{+\infty}g(x)f(x)$

Z=φ(X₁,...,X_n)

$E(Z)=\int_{-\infty}^{+infty}...\int_{-\infty}^{+\infty}\varphi(x_1,x_2,...,x_n)f(x_1,x_2,...,x_n)dx_1dx_2...dx_n$

4.数学期望的性质

设a,a_i,C为常数

（1）E(C)=C

（2）E(aX)=aE(X)

（3）E(X+Y)=E(X)+E(Y)

（4）X,Y独立->E(XY)=E(X)E(Y)

逆命题不成立，可推广到n个独立随机变量

（5）若存在数a使得P(X≥a)=1，则E(X)≥a

（6）[E(XY)]²≤E(X²)(Y²),许瓦尔兹不等式

二、方差

1.方差的定义

若E[X-E(X)]²存在，则称其随机变量X的方差，记为D(X)或Var(X),即：

D(X)=E[X-E(X)]²

称$σ=\sqrt{D(X)}$为X的均方差或标准差

【方差描述随机变量 X 的取值偏离其平均水平的平均偏离程度，从而刻划了X 可能取值的分散程度】

2.

离散型随机变量的方差：$D(X)=\sum_{k=1}^{+\infty}(x-E(X))^2p_k$

连续型随机变量的方差：$D(X)=\int_{-\infty}^{+\infty}(x-E(X))^2f(x)dx$

计算方差常用公式：D(X)=E(X²)-E²(X)

证：D(X)=E[(X-EX)²]=E[X²-2XEX+(EX)²]=E(X²)-E(2XEX)+E[(EX)²]=E(X²)-2(EX)²+(EX)²=E(X²)-(EX)²

0-1分布，D(X)=pq

二项分布，D(X)=npq

泊松分布，D(X)=λ

几何分布，D(X)=q/p²

均匀分布，D(X)=(b-a)²/12

指数分布，D(X)=1/λ²

正态分布，D(X)=σ²

Γ分布，D(X)=α/β²

3.方差的性质：

（1）D(C)=0

（2）D(aX)=a²D(X)

D(aX+b)=a²D(X)

（3）D(X±Y)=D(X)+D(Y)±2E((X-E(X))(Y-E(Y))

特别地，若X,Y相互独立，则D(X+Y)=D(X)+D(Y)，反之不成立

（4）若X₁,...,X_n相互独立，a₁,a₂,...,a_n,b为常数

则$D\left(\sum_{i=1}^{n}a_iX_i+b\right)=\sum_{i=1}^{n}a_i^2D(X_i)$

（5）对任意常数C，D(X)≤E(X-C)²，当且仅当C=E(X)时，等号成立

（6）D(X)=0 <==> P(X=E(X))=1

即X服从单点分布

切尔雪夫不等式：对随机变量X，设E(X),D(X)存在，则对任意ε>0:

P{|X-E(X)|≥ε}≤$\frac{D(X)}{\varepsilon^2}$

注：

（1）不是所有的随机变量都有数学期望和方差

（2）数学期望和方差不能确定分布

（3）已知分布类型，数学期望和方差的情况下，可完全确定分布

4.偏度系数，峰度系数，分位数，中位数，变异系数

设随机变量X，a和p(0<p<1)，若下式成立

P(X≤a)≥p≥P(X<a)

则称a为X的p分位数，记为x_p=a

0.5分位数又称为X的中位数，记位med(X)

p分位数一定存在，但不唯一

当X为连续随机变量时，p分位数通常存在且唯一，可（重新）定义分位数如下：

设连续随机变量X的概率分布密度为f(x),0<p<1.若x_p使得

P(X≤x_p)=p

即$\int_{-\infty}^{x_p}f(x)dx=p$

则称x_p为X的p分位数，该分位数又称下侧分位数（左）

上侧分位数（右）：

若x_α使得P(X>x_α)=α

即$\int_{x_\alpha}^{+\infty}f(x)dx=\alpha$

三、协方差与相关系数

1.协方差的定义

对二维随机变量(X,Y)，若E([X-E(X)][Y-E(Y)])存在，称其为二维随机变量(X,Y)的协方差，记为

cov(X,Y)=E((X-E(X)(Y-E(Y)))

2.协方差的性质

（1）cov(X,Y)=cov(Y,X)=E(XY)-E(X)E(Y)

（2）cov(X,X)=D(X)

（3）cov(a₁X+b₁,a₂Y+b₂)=a₁a₂cov(X,Y),其中a₁,b₁,a₂,b₂为常数

（4）cov(X+Y,Z)=cov(X,Z)+cov(Y,Z)

（5）D(X±Y)=D(X)+D(Y)±2cov(X,Y)

（6）|cov(X,Y)|²≤D(X)D(Y)

3.随机变量的标准化

设随机变量X的期望E(X)、方差D(X)都存在，且D(X)≠0，则称

$X*=\frac{X-E(X)}{\sqrt{D(X)}}$

为X的标准化随机变量.易见，

E(X*)=0,D(X*)=1

4.相关系数的定义

对二维随机变量(X ,Y)，若其协方差存在，且D(X)>0,D(Y)>0，则称

$E\left(\frac{(X-E(X))(Y-E(Y))}{\sqrt{D(X)}\sqrt{D(Y)}}\right)=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

为X,Y的相关系数，记为ρ_XY=cov(X*,Y*)

若ρ_XY=0，则称X,Y（线性）不相关<==>cov(X,Y)=0<==>E(XY)=E(X)E(Y)<==>D(X±Y)=D(X)+D(Y)

（注：独立一定不相关，不相关不一定独立。若(X,Y)服从二维正态分布，则等价）

若ρ_XY=1，则X,Y有线性相关的概率为1<==>存在常数a,b，且a≠0，使得P(Y=aX+b)=1

5.协方差矩阵

称

$$
\left[
\begin{matrix}
   D(X) & cov(X,Y) \\
   cov(Y,X) & D(Y)
  \end{matrix}
  \right]
$$

为二维随机变量(X,Y)的协方差矩阵

n维随机变量的协方差矩阵

设n维随机变量(X₁,X₂,...,X_n)，记σ_ij=cov(X_i,X_j)，若σ_ij都存在，则称

$$
\left[
\begin{matrix}
   \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\
   \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\
   \vdots & \vdots & \ddots & \vdots \\
   \sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn} \\
\end{matrix}
\right]
$$

为(X₁,X₂,...,X_n)的协方差矩阵

性质：（1）对称非负定（2）σ_ii=DX_i（3）$\sigma_{ij}^2<\sigma_{ii}\sigma_{jj}$

【博客园使用latex块级元素，无行距】