附录-Properties in Algebra

部分证明转载自标注,仅作个人整理查阅用。

范数 (norm) \(^{[1]}\)

要更好的理解范数,就要从函数、几何与矩阵的角度去理解,我尽量讲的通俗一些。我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是函数的高度形象化,比如一个函数对应几何空间上若干点组成的图形。但当函数与几何超出三维空间时,就难以获得较好的想象,于是就有了映射的概念,映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射,然后再讨论函数,这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系,(这里特指线性关系)于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合,而我们通常所说的基,就是这个集合的最一般关系。于是,我们可以这样理解,一个集合(向量),通过一种映射关系(矩阵),得到另外一个集合(另外一个向量)。
那么向量的范数,就是表示这个原有集合的大小;而矩阵的范数,就是表示这个变化过程的大小的一个度量。那么说到具体几几范数,其不过是定义不同,一个矩阵范数往往由一个向量范数引出,我们称之为算子范数,其物理意义都如我上述所述。

具体怎么用,看不同的领域,看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断,如果理解上述的意义,在计算机领域,一般迭代前后步骤的差值的范数表示其大小,常用的是二范数,差值越小表示越逼近实际值,可以认为达到要求的精度,收敛。

L-p范数定义

\[
L_p=\Vert x\Vert_p=\sqrt[p]{\sum_{i=1}^{n}x_i^p},x=(x_1,\dots,x_n)
\]

上图表示了p从无穷到0变化时,三维空间中到原点的距离(范数)为1的点构成的图形的变化情况。以常见的L-2范数(p=2)为例,此时的范数也即欧氏距离,空间中到原点的欧氏距离为1的点构成了一个球面。

\(L_0\)范数

\[
L_0=\Vert x\Vert_0=\sqrt[0]{\sum_{i=1}^{n}x_i^0}::=\#\{i|x_i\neq0\}
\]

在实际应用中,由于\(L_0\)范数本身不容易有一个好的数学表示形式,给出上面问题的形式化表示是一个很难的问题,故被人认为是一个NP难问题。所以在实际情况中,\(L_0\)的最优问题会被放宽到\(L_1\)或\(L_2\)下的最优化。 在通常情况下,大家都用"0范数"表示向量\(x\)中非零元素的个数

\(L_1\)范数

表示向量\(x\)中非零元素的绝对值之和
\[
L_1=\Vert x\Vert_1=\sqrt[1]{\sum_{i=1}^{n}x_i^1}::=\sum_{i=1}^{n}|x_i|
\]
\(L_1\)范数有很多的名字,例如我们熟悉的曼哈顿距离、最小绝对误差等。使用\(L_1\)范数可以度量两个向量间的差异,如绝对误差和(Sum of Absolute Difference).

\(L_2\)范数

我们用的最多的度量距离:欧氏距离就是一种\(L_2\)范数,它的定义如下:
\[
L_2=\Vert x\Vert_2=\sqrt[2]{\sum_{i=1}^{n}x_i^2}
\]

\(L_\infty\)范数

主要用来表示向量元素中的最大项值,通常用此来表示:
\[
L_\infty=\Vert x\Vert_\infty=::=max\{|x_i|\}
\]

实对称矩阵

对称矩阵(Symmetric Matrices):是指以主对角线为对称轴,各元素对应相等的矩阵。在线性代数中,对称矩阵是一个方形矩阵,其转置矩阵和自身相等。
\[
A=A^T
\]
实对称矩阵:如果有n阶矩阵A,其矩阵的元素都为实数,且矩阵A的转置等于其本身(\(a_{ij}=a_{ji}\)),则称A为实对称矩阵。

实对称矩阵里的元素全是实数,而对称矩阵只说明\(A=A^T\),没说明矩阵中的元素是实数, 阵中的元素不仅可以是实数,也可以是虚数,甚至元素本身就是一个矩阵或其它更一般的数学对象,实对称矩阵就说明了矩阵中的元素要是实数。

  • 性质1:实对称矩阵的特征值都是实数

$$

$$

  • 性质2:实对称属于不同特征值的特征向量正交

$$

$$

  • 性质3:若\(\lambda_0\)是实对称矩阵A的 k 重特征值,则与对\(\lambda_0\)应的有 k 个线性无关的特征向量

$$

$$

  • 性质4:n 阶实对称矩阵 正交相似 于以特征值为对角的对角矩阵。

$$

$$

矩阵的逆

若方阵\(A\)满足\(|A|\neq0\),则称\(A\)为非退化方阵非奇异方阵,反正,则称其为退化方阵,下令\(A=(a_{ij})\)为一非退化方阵,令:
\[
B'=\frac{(A_{ij})}{|A|}
\]
则有\(AB=BA=I\),称\(B\)为\(A\)的,记作\(B=A^{-1}\),易证\(B\)也是一个非退化方阵,且\(A\)的逆是唯一的。

  • \(AA^{-1}=A^{-1}A=I\)
  • \((A')^{-1}=(A^{-1})'\)
  • 若\(A,C\)均为\(p\)阶非退化方阵,则:\((AC)^{-1}=C^{-1}A^{-1}\)
  • \(|A|^{-1}=|A^{-1}|\)
  • 若\(A\)为正交矩阵,则\(A^{-1}=A'\)
  • 若\(A=diag(a_{ii})\)非退化,则:\(A^{-1}=diag(a_{ii}^{-1})\)
  • 若\(A,B\)为非退化方阵,则

\[
\left(
\begin{array}{cc}
A&O\\
O&B
\end{array}
\right)^{-1}=
\left(
\begin{array}{cc}
A^{-1}&O\\
O&B^{-1}
\end{array}
\right)
\]

非奇异矩阵的分块矩阵求逆

设\(A\)是\(p\)阶满秩矩阵,它的逆矩阵为\(A^{-1}\),他们可表示为下列分块矩阵:
\[
A=\left(
\begin{array}{c|c}
A_{11}&A_{12}\\\hline
A_{21}&A_{22}
\end{array}
\right),
A^{-1}=\left(
\begin{array}{c|c}
A^{11}&A^{12}\\\hline
A^{21}&A^{22}
\end{array}
\right)
\]
其中\(A_{11},A^{11}\)均为\(r\times r\)矩阵,\(A_{22},A^{22}\)均为\(s\times s\)矩阵,且\(r+s=p\)。

\(^{[1]}\)范数对于数学的意义?1范数、2范数、无穷范数

Properties in Algebra的更多相关文章

  1. 线性代数导论 | Linear Algebra 课程

    搞统计的线性代数和概率论必须精通,最好要能锻炼出直觉,再学机器学习才会事半功倍. 线性代数只推荐Prof. Gilbert Strang的MIT课程,有视频,有教材,有习题,有考试,一套学下来基本就入 ...

  2. Algebraic Foundations ( Arithmetic and Algebra) CGAL 4.13 -User Manual

    理解: 本节主要介绍CGAL的代数结构和概念之间的互操作.与传统数论不同,CGAL的代数结构关注于实数轴的“可嵌入”特征.它没有将所有传统数的集合映射到自己的代数结构概念中,避免使用“数的类型”这一术 ...

  3. 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 3_Linear Algebra Review

    Lecture3   Linear Algebra Review 线性代数回顾 3.1 矩阵和向量3.2 加法和标量乘法3.3 矩阵向量乘法3.4 矩阵乘法3.5 矩阵乘法的性质3.6 逆.转置 3. ...

  4. [线性代数] 矩阵代数基础 Basic Matrix Algebra

    Overview: Matrix algebra Matrix algebra covers rules allowing matrices to be manipulated algebraical ...

  5. 【线性代数】5-1:行列式性质(The Properties of Determinants)

    title: [线性代数]5-1:行列式性质(The Properties of Determinants) categories: Mathematic Linear Algebra keyword ...

  6. spring无法读取properties文件数据

    只讲述异常点,关于怎么配置文件,这里不做说明.   1. controller中无法读取config.properties文件 controller中注入的@Value配置是从servlet-cont ...

  7. Android local.properties 文件读取

    转载请标明出处:http://www.cnblogs.com/zhaoyanjun/p/6202369.html 本文出自[赵彦军的博客] 在Android Studio项目里面有个local.pro ...

  8. Crystal Clear Applied: The Seven Properties of Running an Agile Project (转载)

    作者Alistair Cockburn, Crystal Clear的7个成功要素,写得挺好. 敏捷方法的关注点,大家可以参考,太激动所以转载了. 原文:http://www.informit.com ...

  9. hibernate-mapping-3.0.dtd;hibernate-configuration-3.0.dtd;hibernate.properties所在路径

    hibernate-mapping-3.0.dtd 所在路径:hibernate-release-5.2.5.Final\project\hibernate-core\src\main\resourc ...

随机推荐

  1. 十九、SAP查询所有数据库表的所有数据

    一.我们打款SAP自带的一个演示数据库SCARR 二.表结构如下 三.代码如下 四.执行结果如下 我们对比一下数据库的内容,很perfect 不忘初心,如果您认为这篇文章有价值,认同作者的付出,可以微 ...

  2. GDI+应用

    GDI+:Graphics Device Interface Plus也就是图形设备接口,提供了各种丰富的图形图像处理功能;在C#.NET中,使用GDI+处理二维(2D)的图形和图像,使用Direct ...

  3. 《thinkphp》二、创建实例

    1.目录结构 project 应用部署目录 ├─application 应用目录(可设置) │ ├─common 公共模块目录(可更改) │ ├─index 模块目录(可更改) │ │ ├─confi ...

  4. 逆向--C函数和汇编

    C函数和汇编 C代码 (编译工具gcc (Ubuntu 5.4.0-6ubuntu1~16.04.11) 5.4.0 20160609平台ubuntu i386 32位) int bar(int c ...

  5. String的Split使用方法(以特定字符分隔,提取所需信息)

    此处复制一串以空格分隔的数字,提取数字进行排序 int[] a = new int[10]; string input = Console.ReadLine();//获取用户输入的字符串 char[] ...

  6. 面向对象-接口(interface)实战案例

    面向对象-接口(interface)实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.接口(interface)概述 1>.接口的语法格式 接口时抽象类的一种特殊体 ...

  7. HDU - 5586 Sum(区间增量最大)

    题意:将数组A的部分区间值按照函数f(Ai)=(1890*Ai+143)mod10007修改值,区间长度可以为0,问该操作后数组A的最大值. 分析:先求出每个元素的增量,进而求出增量和.通过b[r]- ...

  8. Profiling Top Kagglers: Bestfitting, Currently #1 in the World

    We have a new #1 on our leaderboard – a competitor who surprisingly joined the platform just two yea ...

  9. C/C++ SQLite 之基础篇

    文章目录:                   1. 下载 SQLite3 源码: 2. 下载 SQLite3.dll 文件: 3. 生成 SQLite3.lib 文件 : 4. 生成或者下载 SQL ...

  10. tensorflow-cnnn-mnist

    #coding=utf-8import tensorflow as tfimport numpy as npimport matplotlib .pyplot as pltfrom tensorflo ...