【概率论】4-2:期望的性质(Properties of Expectation)

title: 【概率论】4-2:期望的性质(Properties of Expectation)

categories:

- Mathematic

- Probability

keywords:

- Properties of Expectation

toc: true

date: 2018-03-23 10:24:47

Abstract: 本文介绍关于期望的性质，主要是计算性质，所以本文会有非常多公式定理，例子可能较少

Keywords: Properties of Expectation

开篇废话

更新了下博客主题，添加了RSS订阅功能，这个功能看起来不错，以前听说过，但是一直也没用过，今天下了个软件，注册了个账号，帮忙收集信息也是不错，效率高很多，欢迎大家订阅。

本文介绍期望的一些性质，计算性质，而且很多是比较常见的随机变量函数的期望，从这篇看起来我们的套路有点越来越接近国内教材了，定义完了是计算性质，但是这个计算性质确实是必须的，不掌握好后面很多内容学起来就会吃力，就像我前两天看了一会儿统计，发现很多关于计算的的性质，在统计书籍里是直接使用的，如果不掌握好那就是好几脸懵逼。

Basic Theorems

Linear Function:.If Y=aX+b,where a and b are finite constants,then

E(Y)=aE(X)+b
E(Y)=aE(X)+b
E(Y)=aE(X)+b

线性关系，最简单的变化， a,ba,ba,b 是有限的常数，那么新的随机变量的期望和原始变量的关系满足上式，其实用上一篇的关于随机变量函数的方法就能证明这个问题，我们来计算一下：

E(Y)=E(aX+b)=∫∞∞(ax+b)f(x)dx=a∫−∞∞xf(x)dx+b∫−∞∞f(x)dx=aE(x)+b
E(Y)=E(aX+b)=\int^{\infty}_{\infty}(ax+b)f(x)dx\\
=a\int^{\infty}_{-\infty}xf(x)dx+b\int^{\infty}_{-\infty}f(x)dx\\
=aE(x)+b
E(Y)=E(aX+b)=∫∞∞(ax+b)f(x)dx=a∫−∞∞xf(x)dx+b∫−∞∞f(x)dx=aE(x)+b

上面用到上一篇的公式，然后用到了积分的线性性质，完成了证明。

Corollary If X=cX=cX=c with probability 1 ,then E(X)=cE(X)=cE(X)=c

证明：

E(X)=∫−∞∞cf(x)dx=c∫−∞∞f(x)dx=c
E(X)=\int^{\infty}_{-\infty}cf(x)dx\\
=c\int^{\infty}_{-\infty}f(x)dx=c
E(X)=∫−∞∞cf(x)dx=c∫−∞∞f(x)dx=c

Q.E.D

Theorem If there exists a constant such that Pr(X≥a)=1Pr(X\geq a)=1Pr(X≥a)=1, then E(X)≥aE(X)\geq aE(X)≥a. If there exists a constant bbb such that Pr(X≤b)=1Pr(X\leq b)=1Pr(X≤b)=1,then E(X)≤bE(X)\leq bE(X)≤b

这个定理说明当存在一个常数 aaa 满足 Pr(X≥a)=1Pr(X\geq a)=1Pr(X≥a)=1 那么 E(X)≥aE(X)\geq aE(X)≥a 另一部分是反过来的，所以我们只要证明了一半，另一半可以用同样的方法得到结论。

证明：

E(X)=∫−∞∞xf(x)dx=∫a∞xf(x)dx≥∫a∞af(x)dx=aPr(X≥a)=a
E(X)=\int^{\infty}_{-\infty}xf(x)dx=\int^{\infty}_{a}xf(x)dx\\
\geq \int^{\infty}_{a}af(x)dx=aPr(X\geq a)=a
E(X)=∫−∞∞xf(x)dx=∫a∞xf(x)dx≥∫a∞af(x)dx=aPr(X≥a)=a

Q.E.D

其中这一步 ∫a∞xf(x)dx≥∫a∞af(x)dx\int^{\infty}_{a}xf(x)dx\geq \int^{\infty}_{a}af(x)dx∫a∞xf(x)dx≥∫a∞af(x)dx 用到的条件是 x≥ax\geq ax≥a 而 ∫a∞af(x)dx=aPr(X≥a)\int^{\infty}_{a}af(x)dx=aPr(X\geq a)∫a∞af(x)dx=aPr(X≥a) 用到的是积分的线性性质，和概率的相关定义。

Theorem Suppose that E(x)=aE(x)=aE(x)=a and that either Pr(X≥a)=1Pr(X\geq a)=1Pr(X≥a)=1 or Pr(X≤a)=1Pr(X\leq a)=1Pr(X≤a)=1 .Then Pr(X=a)=1Pr(X=a)=1Pr(X=a)=1

定理解释当知道一个随机变量的期望值是 aaa 时，那么如果知道 Pr(X≥a)=1Pr(X\geq a)=1Pr(X≥a)=1 或者 Pr(X≤a)=1Pr(X\leq a)=1Pr(X≤a)=1 必然有 Pr(X=a)=1Pr(X=a)=1Pr(X=a)=1 。

证明当X时离散情况下 Pr(X≥a)=1Pr(X\geq a)=1Pr(X≥a)=1 其他情况类似，假设 x1,x2,…x_1,x_2,\dotsx1,x2,… 包含所有 x>ax>ax>a 那么 Pr(X=x)>0Pr(X=x)>0Pr(X=x)>0 令 p0=Pr(X=a)p_0=Pr(X=a)p0=Pr(X=a) 那么

E(X)=p0a+∑j=1∞xjPr(X=xj)
E(X)=p_0a+\sum^{\infty}_{j=1}x_jPr(X=x_j)
E(X)=p0a+j=1∑∞xjPr(X=xj)

每个 xjx_jxj 都大于 aaa 其和不能变大因为

E(X)≥p0a+∑j=1∞aPr(X=xj)=a
E(X)\geq p_0a + \sum^{\infty}_{j=1}aPr(X=x_j)=a
E(X)≥p0a+j=1∑∞aPr(X=xj)=a

证毕。

其实离散情况想一下就正大概知道定理的正确性，但是连续情况下用微积分证明难度就有点大了。

Theorem If X1,…,XnX_1,\dots,X_nX1,…,Xn are nnn random variables such that each expectation E(Xi)E(X_i)E(Xi) is finite (i=0,…,n)(i=0,\dots,n)(i=0,…,n) ,then

E(X1+⋯+Xn)=E(X1)+⋯+E(Xn)
E(X_1+\dots+X_n)=E(X_1)+\dots+E(X_n)
E(X1+⋯+Xn)=E(X1)+⋯+E(Xn)

证明期望的加法性质，连续双随机变量证明过程如下，其他情况类似：

E(X1+X2)=∫−∞∞∫−∞∞(x1+x2)f(x1,x2)dx1dx2=∫−∞∞∫−∞∞x1f(x1,x2)dx1dx2+∫−∞∞∫−∞∞x2f(x1,x2)dx1dx2=∫−∞∞x1f1(x1)dx1+∫−∞∞x2f2(x2)dx2=E(X1)+E(X2)
E(X_1+X_2)=\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}(x_1+x_2)f(x_1,x_2)dx_1dx_2\\
=\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}x_1f(x_1,x_2)dx_1dx_2+\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}x_2f(x_1,x_2)dx_1dx_2\\
=\int^{\infty}_{-\infty}x_1f_1(x_1)dx_1+\int^{\infty}_{-\infty}x_2f_2(x_2)dx_2\\
=E(X_1)+E(X_2)
E(X1+X2)=∫−∞∞∫−∞∞(x1+x2)f(x1,x2)dx1dx2=∫−∞∞∫−∞∞x1f(x1,x2)dx1dx2+∫−∞∞∫−∞∞x2f(x1,x2)dx1dx2=∫−∞∞x1f1(x1)dx1+∫−∞∞x2f2(x2)dx2=E(X1)+E(X2)

证明过程最关键一步是 ∫−∞∞∫−∞∞x1f(x1,x2)dx1dx2=∫−∞∞x1f1(x1)dx1\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}x_1f(x_1,x_2)dx_1dx_2=\int^{\infty}_{-\infty}x_1f_1(x_1)dx_1∫−∞∞∫−∞∞x1f(x1,x2)dx1dx2=∫−∞∞x1f1(x1)dx1 的过程，首先调换积分变量的次序 ∫−∞∞∫−∞∞x1f(x1,x2)dx2dx1\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}x_1f(x_1,x_2)dx_2dx_1∫−∞∞∫−∞∞x1f(x1,x2)dx2dx1 这样，内层积分中x1x_1x1 是常量，那么就可以提出来 ∫−∞∞x1[∫−∞∞f(x1,x2)dx2]dx1\int^{\infty}_{-\infty}x_1[\int^{\infty}_{-\infty}f(x_1,x_2)dx_2]dx_1∫−∞∞x1[∫−∞∞f(x1,x2)dx2]dx1 这样中括号里面的部分就是 x1x_1x1 的边缘变量了，同理可得 x2x_2x2 的情况，故得到最后结论。

上述证明过程证明了随机变量的和的期望等于期望的和，而不需要考虑其联合分布，同理可以推广到多变量情况

下面我们就要考虑多变量线性关系了

Corollary Assume that E(xi)E(x_i)E(xi) is finite for i=1,…,ni=1,\dots,ni=1,…,n For all constants a1,…,ana_1,\dots,a_na1,…,an and bbb

E(a1X1+⋯+anXn+b)=a1E(X1)+…anE(Xn)+b
E(a_1X_1+\dots + a_nX_n+b)=a_1E(X_1)+\dots a_nE(X_n)+b
E(a1X1+⋯+anXn+b)=a1E(X1)+…anE(Xn)+b

这个引理的证明是上面加法性质的证明以及前面第一个线性关系的扩展，这里就不再证明了。

以上为节选内容，完整原文地址：https://www.face2ai.com/Math-Probability-4-2-Properties-of-Expectations转载请标明出处

原文地址2：https://www.tony4ai.com/Math-Probability-4-2-Properties-of-Expectations转载请标明出处