范数||x||(norm)笔记
1. 范数的含义和定义
范数是具有“长度”概念的函数。在线性代数、泛函分析及相关领域,是一个函数,它为向量空间内的所有向量赋予非零的正的长度或大小。另一方面,半范数可以为非零的向量赋予零长度。
例如,在二维欧式几何空间\(R^2\)中(简单理解就是二维坐标系)就有欧式范数。在这个向量空间的元素(比如向量\((3,7)\))常常在笛卡尔坐标系统中被画成一个从原点出发的箭头,而这个向量的欧式范数就是箭头的长度。
拥有(定义)范数的向量空间就是赋范向量空间,拥有(定义)办法书的向量空间就是赋半范向量空间
更加规范的定义:
假设V是域F上的向量空间;V的半范数是一个函数:\(p:V\rightarrow R;x\rightarrow p(x)\),满足:
- \(p(v)\ge 0\)(具有半正定性)
- \(p(av)=|a|p(v)\)(具有绝对一次齐次性)
- \(p(u+v)\le p(u)+p(v)\)(满足三角不等式,或者称次可加性)
范数是一个半范数加上额外的性质:
- \(p(v)=0\),当且仅当\(v\)是零向量(正定性)
若拓扑向量空降的拓扑可以被范数导出,这个拓扑向量空间被称为赋范向量空间。
2.例子
- 所有的范数都是半范数
- 平凡半范数,即\(p(x)=0,\forall x \in V\)
- 绝对值是实数集上的一个范数
- 对向量空间上的线性型\(f\)可以定义一个半范数:\(x\rightarrow |f(x)|\)
绝对值范数
绝对值范数为:
\]
是在由实数或虚数构成的一维向量空间中的范数
绝对值范数是曼哈顿范数的特殊形式
\(L_p\)范数
\(L_p\)范数是向量空间中的一组范数。\(L_p\)范数与幂平均有一定的联系,定义如下:
\]
图中的q应为p。这是p取不同值是,在\(R^2\)空间上的\(L_p\)范数等高线的其中一条。该图展示了各\(L_p\)范数的形状。
\(p=0 : ||\vec{x}||_0=x_i不等于0的个数\)。注意,这里的\(L_0\)范数并非通常意义上的范数(不满足三角不等式或次可加性)
\(p=1 : ||\vec{x}||_1=\sum^{n}_{i=1}|x_i|\),即\(L_1\)范数是向量各分量绝对值之和,又称曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量之间的差异,汝绝对误差和(Sum of Absolute Difference)
由于L1范数的天然性质,对L1优化的解是一个稀疏解(查不到准确的定义,不过大概意思就是说这个解向量中很多项都是零),L1范数也就被称作稀疏规则算子
\(p=2 : ||\vec{x}||_2=\sqrt{\sum^n_{i=1}|x_i|^2}\),此为欧氏距离
\(p=+\infty : ||\vec{x}||_{\infty}=\lim\limits_{p\rightarrow\infty}(\displaystyle\sum_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}=\underset{i}{max}\ |x_i|\)[1],通常表示元素的最大值,即无穷范数或最大范数
欧几里得范数
在n维欧几里得空间\(R^n\)上,向量\(x=(x_1,x_2,x_3,...,x_n)^T\)的最符合直觉的长度由以下公式给出:
\]
根据勾股定理,它给出了从原点到点x之间的(通常意义下)的距离。欧几里得范数是\(R^n\)上最常用的范数,但正如下面所举出的,\(R^n\)上也可以定义其它的范数。然而,以下定义的范数都定义了同一个拓扑结构,因此它们在某种意义上都是等价的。
在一个n维复数空间\(C^n\)中,最常见的范数是:
\]
以上两者又可以以向量与自身的内积的平凡根表示:
\]
其中x是一个列向量\(([x_1,x_2,...,x_n]^T)\),而\(x^*\)表示其共轭转置
以上公式适用于任何内积空间,包括欧式空间和复空间。在欧几里得空间里,内积等价于电机,因此公式可以写为:
\]
特别的,\(R^{n+1}\)中所有的欧几里得范数为同一个给定正实数的向量的集合是一个n维球面。
矩阵范数
矩阵可以看做向量空间上的一次向量的线性变换,矩阵范数就是用来衡量变化幅度大小的
诱导范数
由向量范数的\(L_p\)范数诱导而来:
列和范数
\]
即所有矩阵的列向量绝对值之和的最大值
谱范数
\]
即\(A^TA\)矩阵的最大特征值的开平方
行和范数
\]
即所有矩阵行向量绝对值之和的最大值
非诱导范数
Frobenius范数
\]
即矩阵元素绝对值的平方和再开平方
核范数
\]
指矩阵奇异值的和
参考:
一些更深入的相关知识:
看一个例子\(\underset{x_i}{min}\ \underset{y_i}{max}\ |\varepsilon_i|,\varepsilon_i=x_i-y_i\).这个例子里面 |εi|是考察对象,而 xi 和 yi 是两个变量。xi 可以取很多值, yi也可以取很多值。两个下标的意思是:遍历所有的xi和yi取值。先看里面那一层,即 max|εi|.它的意思是,xi取一个固定的值(比如x1),yi遍历所有取值,使得|εi|最大值,这样就找到了(x1, ym1, |εi|1) 这样一个样本。然后,改变xi的值(比如x2),再遍历yi取值,又可以找到|εi|最大值,即 (x2, ym2, |εi|2)的情况。……以此类推,可以理解 min{ },就是在 xi 取所有情况时,从找到的 |εi|1, |εi|2 .... 中找最小值。 ︎
范数||x||(norm)笔记的更多相关文章
- 范数(norm)
[范数定义] 非负实值函数(非线性) 1)非负性: || a || >= 0 2)齐次性: || ka || = |k| ||a|| 3)三角不等式: || a + b || <= || ...
- 范数(norm) 几种范数的简单介绍
原文地址:https://blog.csdn.net/a493823882/article/details/80569888 我们知道距离的定义是一个宽泛的概念,只要满足非负.自反.三角不等式就可以称 ...
- 学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量
线性相关.生成子空间. 逆矩阵A⁽-1⁾存在,Ax=b 每个向量b恰好存在一个解.方程组,向量b某些值,可能不存在解,或者存在无限多个解.x.y是方程组的解,z=αx+(1-α),α取任意实数. A列 ...
- 《Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization》课堂笔记
Lesson 2 Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization 这篇文章其 ...
- CMU Convex Optimization(凸优化)笔记1--凸集和凸函数
CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了 ...
- norm函数
如果A为向量 norm(A,p) 返回向量A的p范数. norm(A) 返回向量A的2范数,即等价于norm(A,2).
- Matlab求范数
对 p = 2,这称为弗罗贝尼乌斯范数(Frobenius norm)或希尔伯特-施密特范数( Hilbert–Schmidt norm),不过后面这个术语通常只用于希尔伯特空间.这个范数可用不同的方 ...
- matlab norm 范式
格式:n=norm(A,p) 功能:norm函数可计算几种不同类型的矩阵范数,根据p的不同可得到不同的范数 p 返回值 1 返回A中最大一列和,即max(sum(abs(A))) 2 返回A的 ...
- 范数 L1 L2
在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,是赋予某个向量空间(或矩阵)中的每个向量以长度或大小的函数.对于零向量,令其长度为零.直观的说,向量或矩阵的范数越大,则我们可以说这个向量 ...
- 论文笔记:目标追踪-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking
基于自适应颜色属性的目标追踪 Adaptive Color Attributes for Real-Time Visual Tracking 基于自适应颜色属性的实时视觉追踪 3月讲的第一篇论文,个人 ...
随机推荐
- 初识python 之 ImportError: No module named _ssl
场景 安装好python之后,导入ssl模块报错: ImportError: No module named _ssl 解决方法 查看openssl.openssl-devel是否安装 rpm -qa ...
- Typescript 字符串字面量类型
字符串字面类型定义的类型是固定的,在其使用时必须是其定义的其中一个字符串,否则会报错 当传入一个定义之外的字符串时,会报错字符串字面量类型.ts(13,20): error TS2345: Argum ...
- vue-router 两个子路由之间相互跳转时出错
patient页面跳转到apply页面后,再点击patient页面后无法跳回 解决方法:使用`${path + path1}` 来自为知笔记(Wiz)
- Linux查看进程启动时间和运行多长时间
Linux 查看进程启动时间和运行多长时间 启动时间 ps -eo lstart 运行多长时间 ps -eo etime -bash-4.1$ ps -eo pid,lstart,etime | gr ...
- 第10组 Alpha冲刺 总结(组长)
1.基本情况 组长博客链接:https://www.cnblogs.com/cpandbb/p/14007413.html 答辩总结: ·产品偏离了最开始的方向,地图和刷一刷功能做得没那么好,外卖订单 ...
- 用jquery实现省市联动
<!-- 需求: [1] 动态生成省份选择框. [2] 当选择了省份的某一项时, 动态改变 城市选择中的列表项. --> <!DOCTYPE html> <html la ...
- SSTI(以Twig模板引擎为例)
一.模板注入与常见Web注入 就注入类型的漏洞来说,常见 Web 注入有:SQL 注入,XSS 注入,XPATH 注入,XML 注入,代码注入,命令注入等等.注入漏洞的实质是服务端接受了用户的输入,未 ...
- Springboot集成邮箱服务发送邮件
一.前言 Spring Email 抽象的核心是 MailSender 接口,MailSender 的实现能够把 Email 发送给邮件服务器,由邮件服务器实现邮件发送的功能. Spring 自带了一 ...
- k8s-pv-pvc
1. 简介 持久卷(PersistentVolume,PV)是集群中的一块存储,可以由管理员事先供应,或者 使用存储类(Storage Class)来动态供应. 持久卷是集群资源,就像节点也是集群资源 ...
- 【涨姿势】原来golang的case <-time.After(xxx)还有这样的坑
偶然看到这样一篇文章:<使用 pprof 排查 Golang 内存泄露>https://www.toutiao.com/i6881796351139676680/ 最后一段让我很疑惑: 修 ...