自由度（degree of freedom）

In many scientific fields, the degrees of freedom of a system is the number of parameters of the system that may vary independently.

在很多科学领域，自由度指的是，一个系统中可以独立变化的参数的个数。

1. 函数

• 所谓的一元函数 y=f(x)，二元函数 z=f(x,y)，这里的 1 和 2，指的是自变量的个数，自变量的英文术语为 independent variable，也即二者是在定义域内独立变化的，自然一元函数的 y 和二元函数的 z 都是因变量，是分别关于 x 和 x,y 的因变量，
  • 从自由度的角度来说，自变量是自由的，因变量显然是不自由的，
  • 自变量（独立变量）的个数即为自由度；

2. 离散型概率分布

• 在比如一个离散型概率分布，{a1,⋯,ai,⋯,an}，显然满足 ∑iai=1，如果没有更多的约束，显然这里的自由度为 n−1，而不是 n，也即其中只有 n−1 个变量可以独立变化，其中的 n−1 个值确定之后，第 n 个数的值也得以确定；

3. 向量空间

从几何的观点看，自由度可以解释为其所处向量空间维度的大小。比如我们有如下独立的正态分布的观测样本：

X1,X2,⋯,Xn

因为彼此是独立的，因此可以被表示为多维向量形式：

⎛⎝⎜⎜⎜⎜X1X2⋮Xn⎞⎠⎟⎟⎟⎟

令 X¯ 为样本的均值，所以有：

⎛⎝⎜⎜⎜⎜X1X2⋮Xn⎞⎠⎟⎟⎟⎟=X¯⎛⎝⎜⎜⎜⎜11⋮1⎞⎠⎟⎟⎟⎟+⎛⎝⎜⎜⎜⎜X1−X¯X2−X¯⋮Xn−X¯⎞⎠⎟⎟⎟⎟

• 对于等式右边的第一项来说，只有 X¯ 可以自由变化，因此自由度为 1；
• 对于等式右边的第二项来说，需要满足 ∑i(Xi−X¯)=0，因此，其中的 n−1 项成分可以自由变化，自由度为 n−1；

Degrees of freedom (statistics)