Jensen 不等式证明
Jensen 不等式定义
若 \(f(x)\) 为区间 \(I\) 上的下凸函数,则对于任意 \(x_{i} \in I\) 和满足 \(\displaystyle\sum_{i=1}^{n} \lambda_{i} = 1\) 的 \(\lambda_{i} \gt 0 \left( i = 1, 2, \cdots, n \right)\),成立
\]
特别地,取 \(\displaystyle\lambda_{i} = \frac{1}{n} \left( i = 1, 2, \cdots, n \right)\),就有
\]
Jensen 不等式证明
使用下凸函数的定义和数学归纳法证明。
当 \(n = 1\),有 \(\lambda_{1} = 1\),则 \(f(\lambda_{1}x_{1}) \leqslant \lambda_{1}f(x_{1})\),Jensen 不等式成立。
当 \(n = 2\),\(f(x)\) 为下凸函数,根据下凸函数定义,有 \(\forall \lambda \in \left(0,1 \right): f(\lambda x_{1} + \left(1-\lambda\right) x_{2}) \leqslant \lambda f(x_{1}) + \left(1-\lambda\right) f(x_{2})\)。令 \(\lambda_{1} = \lambda\),则 \(\lambda_{2} = 1 - \lambda\),得
\(f(\lambda_{1}x_{1} + \lambda_{2}x_{2}) \leqslant \lambda_{1}f(x_{1}) + \lambda_{2}f(x_{2})\),Jensen 不等式成立。假设当 \(n = k\),不等式成立,即
f \left( \sum_{i=1}^{k} \lambda_{i} x_{i} \right) \leqslant \sum_{i=1}^{k} \lambda_{i}f(x_{i})
\end{equation}
\]
- 当 \(n = k + 1\),由命题条件 \(\displaystyle\sum_{i=1}^{k+1} \lambda_{i} = 1\) 可得 \(\displaystyle 1-\lambda_{k+1} = \sum_{i=1}^{k}\lambda_{i}\)。\(\forall \lambda_{i} \gt 0\),所以 \(1- \lambda_{k+1} \neq 0\)
\begin{aligned}
f \left( \sum_{i=1}^{k+1} \lambda_{i} x_{i} \right) &= f \left( \sum_{i=1}^{k} \lambda_{i} x_{i} + \lambda_{k+1}x_{k+1} \right) \\
&= f \left( \begin{split} \left( 1 - \lambda_{k+1} \right) \dfrac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}} + \lambda_{k+1}x_{k+1} \end{split} \right) \\
\end{aligned}
\end{equation}
\]
考察 \(\displaystyle\frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}}\),只要其属于 \(I\),就可以直接使用下凸函数定义。\(x_{i}\) 是任意给定的,不妨设 \(x_{1} \lt x_{2} \lt \cdots x_{k} \lt x_{k+1}\)。所以有
\begin{aligned}
&\sum_{i=1}^{k} \lambda_{i} x_{1} \leqslant \sum_{i=1}^{k} \lambda_{i} x_{i} \leqslant \sum_{i=1}^{k} \lambda_{i} x_{k} \\
\implies & x_{1} \sum_{i=1}^{k} \lambda_{i} \leqslant \sum_{i=1}^{k} \lambda_{i} x_{i} \leqslant x_{k} \sum_{i=1}^{k} \lambda_{i} \\
\implies & x_{1} \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i}}{1 - \lambda_{k+1}} \leqslant \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}} \leqslant x_{k} \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i}}{1 - \lambda_{k+1}} \\
\implies & x_{1} \leqslant \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}} \leqslant x_{k}
\end{aligned}
\end{equation}
\]
由于 \(x_{1}\) 和 \(x_{k}\) 都属于 \(I\),则 \(\displaystyle \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}}\) 也属于 \(I\)。所以可以对 \(\eqref{eqn:one}\) 式使用下凸函数的定义
\begin{aligned}
f \left( \sum_{i=1}^{k+1} \lambda_{i} x_{i} \right)
&= f \left( \begin{split} \left( 1 - \lambda_{k+1} \right) \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}} + \lambda_{k+1}x_{k+1} \end{split} \right) \\
&\leqslant \left( 1 - \lambda_{k+1} \right) f \left( \begin{split} \frac{\displaystyle\sum_{i=1}^{k} \lambda_{i} x_{i}}{1 - \lambda_{k+1}} \end{split} \right) + \lambda_{k+1} f \left(x_{k+1}\right) \\
&= \left( 1 - \lambda_{k+1} \right) f \left( \displaystyle\sum_{i=1}^{k} \frac{\lambda_{i} x_{i}}{1 - \lambda_{k+1}} \right) + \lambda_{k+1} f \left(x_{k+1}\right) \\
\end{aligned}
\end{equation}
\]
由于 \(\displaystyle\sum_{i=1}^{k} \frac{\lambda_{i}}{1 - \lambda_{k+1}} = 1\),符合 \(n=k\) 时 Jensen 不等式成立条件,所以有 \(\displaystyle f \left( \displaystyle\sum_{i=1}^{k} \frac{\lambda_{i} x_{i}}{1 - \lambda_{k+1}} \right) \leqslant \sum_{i=1}^{k} \frac{\lambda_{i}}{1-\lambda_{k+1}} f \left( x_{i} \right)\),代入 \(\eqref{eqn:two}\) 式可以得到 Jensen 不等式成立
\begin{aligned}
f \left( \sum_{i=1}^{k+1} \lambda_{i} x_{i} \right)
&\leqslant \left( 1 - \lambda_{k+1} \right) f \left( \displaystyle\sum_{i=1}^{k} \frac{\lambda_{i} x_{i}}{1 - \lambda_{k+1}} \right) + \lambda_{k+1} f \left(x_{k+1}\right) \\
&\leqslant \left( 1 - \lambda_{k+1} \right) \sum_{i=1}^{k} \frac{\lambda_{i}}{1-\lambda_{k+1}} f \left( x_{i} \right) + \lambda_{k+1} f \left(x_{k+1}\right) \\
&= \sum_{i=1}^{k} \lambda_{i} f \left( x_{i} \right) + \lambda_{k+1} f \left(x_{k+1}\right) \\
&= \sum_{i=1}^{k+1} \lambda_{i} f \left( x_{i} \right)
\end{aligned}
\end{equation}
\]
- 综上所述,由数学归纳法得 \(\forall n \left( n = 1, 2, \cdots, k, k+1, \cdots \right)\) 有
f \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})
\end{equation}
\]
即 Jensen 不等式成立。
- 直接将 \(\displaystyle\lambda_{i} = \frac{1}{n}\) 代入 \(\eqref{eqn:final}\) 式,可得
\]
Jensen 不等式证明的更多相关文章
- 机器学习数学|微积分梯度jensen不等式
机器学习中的数学 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记 索引 微积分,梯度和Jensen不等式 Tay ...
- Jensen 不等式
若f(x)为区间I上的下凸(上凸)函数,则对于任意xi∈I和满足∑λi=1的λi>0(i=1,2,...,n),成立: \[f(\sum ^{n} _{i=1} \lambda _{i}x_{i ...
- 归并排序、jensen不等式、非线性、深度学习
前言 在此记录一些不太成熟的思考,希望对各位看官有所启发. 从题目可以看出来这篇文章的主题很杂,这篇文章中我主要讨论的是深度学习为什么要"深"这个问题.先给出结论吧:"深 ...
- 数学分析中jensen不等式由浅入深进行教学(转)
中国知网:数学分析中Jensen不等式由浅入深进行教学
- 【数学基础篇】---详解极限与微分学与Jensen 不等式
一.前述 数学基础知识对机器学习还有深度学习的知识点理解尤为重要,本节主要讲解极限等相关知识. 二.极限 1.例子 当 x 趋于 0 的时候,sin(x) 与 tan(x) 都趋于 0. 但是哪一个趋 ...
- 从Jensen不等式到Minkowski不等式
整理即证 参考资料: [1].琴生不等式及其加权形式的证明.Balbooa.https://blog.csdn.net/balbooa/article/details/79357839.2018.2 ...
- schwarz( 施瓦兹)不等式证明
证明 如果: 函数 y=ax^2+2bx+c 对任意x >=0 时 y>=0; 函数图象在全部x轴上方,故二次方程判别式 b^2-4ac<=0;(即方程无实数解) 即(2b)^2&l ...
- 凸函数与Jensen不等式
这个是在凸优化里面看的,在EM算法中看有用到,所以用latex写了篇回忆用的小短文,现在不会把latex产生的pdf怎么转变成放到这里的内容. 所以我选择直接贴图. 这个pdf可以在我的资源里找到. ...
- MT【23】用算术几何不等式证明数列极限存在
评:如果不需要精确到3,上界的求法可以利用$$(1+\frac{1}{n})^n*\frac{1}{2}*\frac{1}{2}<(\frac{n+\frac{1}{n}*n+\frac{1}{ ...
- Jensen不等式
随机推荐
- Blazor入门100天 : 自做一个支持长按事件的按钮组件
好长时间没继续写这个系列博客了, 不知道大家还记得我吗? 话不多说,直接开撸. 1. 新建 net8 blazor 工程 b19LongPressButton 至于用什么模式大家各取所需, 我创建的是 ...
- SpringMVC中资源路径映射本地文件图片
SpringMVC中资源路径映射本地文件图片 import org.springframework.context.annotation.Configuration; import org.sprin ...
- C语言之小明的加减法
1.题目内容: 叛逆期的小明什么都喜欢反着做,连看数字也是如此(负号除外),比如: 小明会把1234它看成4321:把-1234看成-4321:把230看成032 (032=32):把-230看成-0 ...
- 确定了-C#是2023年度的编程语言!
大家好,我是沙漠尽头的狼.在朋友圈看到桂素伟大佬发的喜讯截图,站长赶紧翻译向大家报喜,确定了-C#是2023年度的编程语言! 在TIOBE指数的历史上,C#首次获得了年度编程语言的奖项.祝贺!二十多年 ...
- TeeChart 的使用从入门到精通
1.首先nutGet 进行使用 2.如果需要使用管方的Key 进行激活 3.直接上写的Demo代码 1 using System; 2 using System.Collections.Generic ...
- 编写一个小而强大的 Windows 动态屏保壁纸
写在前面 两年前我做了第一个开源软件 DreamScene2 动态桌面,如今受到了很多人的喜欢,这增加了我继续做好开源软件的信心.之前的这个软件一直有人希望我加入一个设置屏保壁纸的功能,因为 Drea ...
- 第七部分_Shell脚本之循环
for循环语句 关键词:爱的魔力转圈圈 1. for循环语法结构 空行相对于for循环类似于空格 ㈠ 列表循环 列表for循环:用于将一组命令执行已知的次数 基本语法格式 for variable i ...
- 保护客户代码和应用安全,CodeArts有7招
摘要:华为CodeArts致力于各种措施与方案,确保用户研发资产的安全. 华为云有IAM统一认证.CodeArts原名"DevCloud"上每个项目均设有权限管理机制. CodeA ...
- AUC/ROC:面试中80%都会问的知识点
摘要:ROC/AUC作为机器学习的评估指标非常重要,也是面试中经常出现的问题(80%都会问到) 本文分享自华为云社区<技术干货 | 解决面试中80%问题,基于MindSpore实现AUC/ROC ...
- 云图说|ModelArts Pro,为企业级AI应用打造的专业开发套件
摘要: ModelArts Pro 为企业级AI应用打造专业开发套件.基于华为云的先进算法和快速训练能力,提供预置工作流和模型,提升企业AI应用的开发效率,降低开发难度. AI技术的高门槛与落地难是中 ...