Tips on Probability Theory

1、独立与不相关

随机变量X和Y相互独立，有：E(XY) = E(X)E(Y)。

独立一定不相关，不相关不一定独立（高斯过程里二者等价） 。对于均值为零的高斯随机变量，“独立”和“不相关”等价的。

独立性是指两个变量的发生概率一点关系没有，而相关性通常是指线性关系。如果两个变量不相关，指的是线性关系里不相关，但是不能说它们没有关系，可能是线性以外的其他关系。

2、中心极限定理和强、弱大数定律

中心极限定理和强、弱大数定律是概率论的核心，历史悠久（不晚于1733年）。

大数定律讲的是样本均值收敛到总体均值（就是期望）。即如果统计数据足够大，那么事物出现的频率就能无限接近他的期望值。

小数定律是说，如果统计数据很少，那么事件就表现为各种极端情况，而这些情况都是偶然事件，跟它的期望值一点关系都没有。

中心极限定理告诉我们：大量独立同分布随机变量之和满足高斯分布，即当样本量足够大时，样本均值的分布慢慢变成正态分布。

即样本的平均值约等于总体的平均值。不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。

中心极限定理有很多版本，最常见的版本要求（或假设）所有样本独立同分布，且他们共同服从的分布存在前两阶原点矩。

大数定律成立的条件比中心极限定理宽松，前者只需要一阶矩存在，而后者需要前两阶矩都存在。大数定律成立的条件比中心极限定理宽松，前者只需要一阶矩存在，而后者需要前两阶矩都存在。因为条件更强，中心极限定理的结论也更强，大数定律只是证明几乎处处收敛，却没有指明收敛的速度，而中心极限定理给出了收敛的极限分布和渐近方差。