范数（norm）

【范数定义】

非负实值函数（非线性）

1）非负性： || a || >= 0

2）齐次性： || ka || = |k| ||a||

3）三角不等式： || a + b || <= || a || + || b ||

注：完备的线性赋范空间称为巴拿赫空间（Banach Space）

【向量范数】

l_p范数（p范数）： || x ||_p = ( Σ |x_i|^p )^1/p    ( p = 1 ~ ∞ )

• l₁范数 ( p = 1 )， || x ||₁ = Σ |x_i|
  

• l₂范数 ( p = 2 )， || x ||₁ = ( Σ |x_i|² )^1/2  （Euclidean Norm）

• l_∞范数 ( p = ∞ )， || x ||_∞ = max_i { |x_i| }
  

【矩阵范数】

Frobenius Form：|| A ||_F = ( tr( A^HA ) )^1/2

谱范数：|| A ||₂ = ( lamda_max( A^HA ) )^1/2   ( A的最大奇异值，或者A^HA的最大特征值 )

【相容矩阵范数】

对于C^mxn上的矩阵范数 || • ||，满足 || AB || <= || A || || B ||

• Frobenius Form是相容范数 （但不是算子范数）

【算子范数】

设 || • ||_u  和 || • ||_v 分别是C^m和Cⁿ上的向量范数，则导出C^mxn上的矩阵范数 || • ||_uv，     || A ||_uv = max { || Ax ||_u } , s.t. || x ||_v = 1

• 谱范数由向量范数 || • ||₂ 导出
• 算子范数是相容范数

【对偶范数（dual norm）】

定义：

令 || • ||为Rⁿ上的范数，定义对偶范数 || • ||_* 为：   || z ||_* = sup { z^Tx  },  s.t. ||x|| <= 1

性质：

l_p范数的对偶范数是l_q范数，其中1/p + 1/q = 1

证明：  通过Holder不等式证明 |

• l₂范数的对偶范数是l₂范数
• l₁范数的对偶范数是l_∞范数