【Math for ML】解析几何(Analytic Geometry)

I. 范数(Norm)

定义:

向量空间\(V\)上的范数(norm)是如下函数:
\[
\begin{align}
\|·\|:V→R, \notag \\
x→\|x\| \notag
\end{align}
\]
该函数会赋予每个向量\(x\)自身的长度\(\|x\|∈R\),并且对于\(\lambda∈R,\,\,x,y∈V\)满足如下性质:

• Absolutely homogeneous:\(\|\lambda x\|=|\lambda|\|x\|\)
• Triangle inequality:\(\|x+y\|≤\|x\|+\|y\|\)
  Positive definite:\(\|x\|≥0\)且\(\|x\|=0\Leftrightarrow x=0\)

\(L^p\) norm 公式如右: \(\|x\|_p=(\sum_i|x_i|^p)^{\frac{1}{p}}\) for \(p∈R,p≥1\).

1) \(L^1\) Norm

这个也叫Manhattan norm。

二范式在零点附近增长很慢，而且有的机器学习应用需要在零点和非零点之间进行区分，此时二范式显得力不从心，所以我们可以选择一范式,即\(L^1\) norm,其表达式为：\(\|x\|_1=\sum_i|x_i|\).

2) \(L^2\) Norm

这个也叫Euclidean norm。

最常用的是二范式，即\(L^2\) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导，二范式求导之后只与输入数据本身有关，所以比较实用。

3) \(L^0\) Norm

0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的，因为它不满足第三个条件，but whatever~

4) \(L^∞\) Norm

无穷大范式，也叫max norm,它表示矢量中所有元素绝对值的最大值，即
\[||x||_∞=max |x_i|\]

5) F norm

F norm全称是Frobenius Norm,其表达式如下:
\[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} \]

II. 内积(Inner Products)

内积的一个主要目的是用来判断两个向量是否互相正交。另外内积并没有明确的定义，他只是一个广泛的定义，也就是说我们可以根据需要定义内积，例如我们可以把内积定义成点积的形式等等。

1. 点积(Dot Product)

一种常见的内积形式是向量空间\(R^n\)内的点积(Dot Product/ Scalar Product)，计算公式如下：
\[x^Ty=\sum_{i=1}^nx_iy_i\]

2. General Inner Products

在对内积给出一般性的定义之前需要做一些铺垫:

• 双向映射(Bilinear Mapping)

  维基百科上的定义:A bilinear map is a function combining elements of two vector spaces to yield an element of a third vector space, and is linear in each of its arguments.

看定义其实不太好懂什么是bilinear mapping,stackexchange上有人给出了简单定义，即可以简单理解为满足如下性质的映射即为双向映射:

\(B(x+y,z) = B(x,z) + B(y,z)\)(additive in the first "coordinate"),
\(B(x,y+z) = B(x,y) + B(x,z)\) (additive in the second "coordinate"),
\(B(cx,y) = cB(x,y) = B(x,cy)\)preserves scaling in each "coordinate").

再简单快捷理解的方式就是将\(B\)理解成实数的乘法，即:
\(B(a,b)=a·b\)
\(B(x+y,z) = (x+y)\cdot z = x\cdot z + y\cdot z = B(x,z) + B(y,z)\)
\(B(x,y+z) = x\cdot (y+z) = x\cdot y + x\cdot z = B(x,y) + B(x,z)\)
\(B(cx,z) = (cx)\cdot z = c\cdot(xz) = x\cdot(cz) = B(x,cz)\)

这样有没有好理解很多？

• 又一个定义

  假设\(V\)为向量空间，\(\Omega:V×V→R\)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么

  • 若\(\Omega(x,y)=\Omega(y,x)\),则称\(\Omega\)是对称的。
    若\(\forall x∈V \backslash \{0\}:\Omega(x,x)>0,\,\,\,\Omega(0,0)=0\),则称\(\Omega\)为正定(positive definite)。

• 内积的定义

假设\(V\)为向量空间，\(\Omega:V×V→R\)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么

• 一个正定(positive definite)且对称的bilinear mapping\(\Omega:V×V→R\)被称为在向量空间\(V\)上的内积(inner product),一般记为\(<x,y>\),而不是\(\Omega(x,y)\)。
• \((V,<·,·>)\)称为内积空间(inner product space)

3. 对称正定矩阵(Symmetric,Positive Definite Matrices)

定义:

满足如下条件的对称矩阵\(A∈R^{n×n}\)称为对称正定矩阵或正定矩阵
\[\forall{x∈V\backslash\{0\}}:x^TAx>0\]
若上式中的>换成≥，则该矩阵为对称半正定矩阵。

例子：

正定矩阵\(A\)有如下性质：

• \(A\)的kernel (null space)只包含\(0\),因为当\(x≠0\)时，\(x^TAx>0\)。
• \(A\)的对角元素\(a_{ii}\)都是正的，因为\(a_{ii}=e_i^TAe_i>0\),其中\(e_i\)表示第\(i\)个标准基。

III. 内积的应用

我们可以通过定义内积从而定义长度(length),距离(distance)，角度(angle),正交(orthogonal)等。

• 长度&距离

其实长度和距离可以是等价的，定义如下:

假设有内积空间\((V,<·,·>)\),那么如下表达式表示\(x,y∈V\)之间的距离
\[d(x,y)=\|x-y\|=\sqrt{<x-y,x-y>}\]
如果我们使用点积作为内积，那么上面定义的距离则为欧几里得距离(Euclidean distance),其中映射
\[
\begin{align}
d:V×V→R \notag \\
(x,y)→d(x,y) \notag
\end{align}
\]称为metric

• 角度&正交

令\(w∈[0,π]\)表示两向量之间的角度，则有
\[
\begin{align}
cos\,\mathcal{w}&=\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \\
(dot\,\,product)&=\frac{x^Ty}{\sqrt{x^Tx\,y^Ty}} \notag \\
\Rightarrow w &= arccos\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag
\end{align}
\]
由上面的定义可知当\(<x,y>=0\)时，二者正交。

IV. 函数的内积(Inner Product of Functions)

前面介绍的内积都是基于有限的向量，如果扩展到有无限元素的函数，此时的内积如何定义呢？

假设有两个函数\(u(x),v(x)\),二者的内积为:\(<u,v>=\int_a^b{u(x)v(x)dx}, \,\, a,b<∞\)

当如上积分为0时，表示两个函数正交。

MARSGGBO♥原创







2018-12-17