连续（Continuity） - 有界（Bounded） - 收敛（Convergence）

连续（Continuity）

所有点连续   ->   一致连续 (uniform continuity)  ->  绝对连续  -> 李普希兹连续（Lipschitz）

弱                    ---->               强

【uniform continutity】

In mathematics, a function f is uniformly continuous if, roughly speaking, it is possible to guarantee that f(x) and f(y) be as close to each other as we please by requiring only that x and y are sufficiently close to each other; unlike ordinary continuity, where the maximum distance between f(x) and f(y) may depend on x and y themselves.

e.g. $1/x$ is not uniformly continous.

https://en.wikipedia.org/wiki/Uniform_continuity

【absolute continutiy】

绝对值也是一致连续的

https://en.wikipedia.org/wiki/Absolute_continuity

【Lipschitz Continuity】

Definition: 函数图像的曲线上任意两点连线的斜率"一致有界"，即任意两点的斜率都小于同一个常数，这个常数就是Lipschitz常数。

理解：

从局部看，我们可以取两个充分接近的点，如果这个时候斜率的极限存在的话，这个斜率的极限就是这个点的导数。也就是说函数可导，又是Lipschitz连续，那么导数有界。反过来，如果可导函数，导数有界，可以推出函数Lipschitz连续。

从整体看，Lipschitz连续要求函数在无限的区间上不能有超过线性的增长，所以x², e^x这些函数在无限区间上不是Lipschitz连续的。

Lipschitz连续的函数是比连续函数较更加“光滑”，但不一定是处处光滑的，比如|x|.但不光滑的点不多，放在一起是一个零测集，所以他是几乎处处的光滑的。

简单来说，Lipschitz连续就类似，一块地不仅没有河流什么的玩意儿阻隔，而且这块地上没有特别陡的坡。其中最陡的地方有多陡呢？这就是所谓的李普希兹常数

参考：

https://en.wikipedia.org/wiki/Lipschitz_continuity

有界（Bounded）

bounded  ->  Uniform boundedness

the sequence of functions $\{ f_n | f_n(x) = sin(nx) \}$ is uniformly bounded

the sequence of functions $\{ g_n | g_n(x) = nsin(x) \}$ is not uniformly bounded

【参考】

https://en.wikipedia.org/wiki/Uniform_boundedness

收敛（Convergence）

逐点收敛(pointwise convergence)  -> 一致收敛(uniform convergence)

【pointwise convergence】

The sequence $f_n(x)$ converges pointwise to the function $f$,  iff

for every $x$, $\lim_{x \to +\infty} f_n=f(x)$

【uniform convergence】

the sequence functions ${ S_n(x) }$ is uniformly convergent:  if for every $\epsilon>0$, there exists a number N, such that for all $n>N$, $|f_n(x)-f(x)|<\epsilon$

https://en.wikipedia.org/wiki/Uniform_convergence

随机变量的收敛

研究一列随机变量是否会收敛到某个极限随机变量

https://en.wikipedia.org/wiki/Convergence_of_random_variables

【convergence in distribution】

• the weakest form of convergence
• related to central limit theorem

Definition:

A sequence $X_1$, $X_2$, ... of random variables is said to converge in distribution to a random variable X if

$\lim\limits_{n \to \infty} F_n(x)=F(x)$ for every $x\in\mathbb{R}$ at which $F$ is continues. (仅仅考虑$F(x)$连续的地方的分布函数值)

$X_n \overset{d}{\to} X$

【Convergence in probability】

• related to the weak law of large numbers
• related to the consistent estimator

meanning：the probability of an “unusual” outcome becomes smaller and smaller as the sequence progresses.

Definition: A sequence $\{X_n\}$ of random variables converges in probability towards the random variable $X$ if for all $\epsilon > 0$,  $\lim\limits_{n \to \infty}{Pr(|X_n-X|>\epsilon)}=0$

$X_n \overset{p}{\to} X$

【Almost sure convergence】

类似于函数列收敛中pointwise convergence，

Definition：To say that the sequence X_n converges almost surely or almost everywhere or with probability 1 or strongly towards X means that,

$Pr(\lim\limits_{n \to \infty}{X_n=X})=1$

$X_n \overset{a.s.}{\to} X$