最近在上最优理论这门课,刚开始是线性规划部分,主要的方法就是单纯形方法,学完之后做了一下大M算法和分段法的仿真,拿出来与大家分享一下.单纯形方法是求解线性规划问题的一种基本方法. 线性规划就是在一系列不等式约束下求目标函数最大值或最小值的问题,要把数学中的线性规划问题用计算机来解决,首先要确定一个标准形式. 将所给的线性规划问题化为标准形式: s.t.是英文subject to 的简写,意思是受约束,也就是说第一个方程受到后面两个方程的约束.对于求最大值问题可以将目标函数加负号转换为最小值问题.

学习过程,把代码过程较好的代码段做个记录,如下的代码段是关于Python illustrating Downhill simplex method for minimizing the user-supplied scalar function的代码,应该能对各位朋友有较大用途. ''' x = downhill(F,xStart,side,tol=1.0e-6) Downhill simplex method for minimizing the user-supplied scalar fu

前面一篇讲的单纯形方法的实现,但程序输入的必须是已经有初始基本可行解的单纯形表. 但实际问题中很少有现成的基本可行解,比如以下这个问题: min f(x) = –3x1 +x2 + x3 s.t. x1 – 2x2 + x3 + x4=11       -4x1 + x2 + 2x3 - x5=3       -2x1+x3=1       xj>=0 , j=1,2,3,4,5 写成单纯形表就是   x1 x2 x3 x4 x5 b f 3 -1 -1 0 0 0   1 -2 1 1 0 1

基于二阶统计量的盲源提取方法[1]. 文中提出了一系列基于二阶统计量的算法,包括离线BSE和在线BSE算法,可以提取平稳信号和非平稳信号.这些算法中,通过挖掘信号特征,提出了新的打分函数,以及一个无参数的自适应步长最速下降法用来得到最优提取权重向量.仿真实验证明提出的算法可以逐个重建源信号,并且性能优于基于高阶统计量的BSE方法. 此外,无参数自适应步长最速下降法具有若干优点:不需要调节参数,低运算量,不需要多余预处理步骤. 引言及建模 相比于BSS同时恢复所有源信号,BSE是每次恢复一个源信号

非叫“秩”不可,有秩才有解_王治祥_新浪博客http://blog.sina.com.cn/s/blog_8e7bc4f801012c23.html 我在一个大学当督导的时候,一次我听一位老师给学生讲<线性代数>中矩阵的“秩”. 矩阵的“秩”是<线性代数>中的一个非常重要的概念.我认为,理解了“秩”,线性代数就好学多了,用起来也主动多了. 因为这个概念的重要性,课间休息时,我问这位老师:“秩”是什么?为什么非要叫“秩”? 对前一个问题,他又重复了一遍教科书上的数学定义.对后一个问题

目录 一般方法 二次函数 平滑函数 标量函数 一般的标量函数 多边形 对偶 仿射集合 半平面 Box Simplex Cones 二阶锥 半正定锥 指数锥 Pointwise maximum and supremum max support function Norms and norm balls Euclidean 范数 and norms Elastic net 范数和 sublevel set and epigradph 下水平集 上镜图 Matrix functions Element

Today we have learned the Matrix Factorization, and I want to record my study notes. Some kownledge which I have learned before is forgot...(呜呜) 1.Terminology 单位矩阵:identity matrix 特征值:eigenvalues 特征向量:eigenvectors 矩阵的秩:rank 对角矩阵:diagonal matrix 对角化矩阵

Machine Learning Algorithms Study Notes 高雪松 @雪松Cedro Microsoft MVP 本系列文章是Andrew Ng 在斯坦福的机器学习课程 CS 229 的学习笔记. Machine Learning Algorithms Study Notes 系列文章介绍 2    Supervised Learning    3 2.1    Perceptron Learning Algorithm (PLA)    3 2.1.1    PLA --

插值:求过已知有限个数据点的近似函数 拟合:已知有限个数据点,求近似函数,不要求过已知数据点,只要求在某种意义下在这些点的误差最小 (一)插值方法 一.拉格朗日多项式插值 1.插值多项式 就是做出一个多项式函数,经过给出的n个节点,并尽可能的接近原函数,将点带入多项式函数得到一个线性方程组 当系数矩阵满秩时,有唯一解.而,系数矩阵的行列式为 这是一个范德蒙德行列式,只要各个节点不同时,行列式就不为0,因此可得,一定能够解出系数方程 还有些指标 2.拉格朗日插值多项式 3.MATLAB实现 fun

关于ADMM的研究(一) 最近在研究正则化框架如何应用在大数据平台上.找到了<Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers>这篇文章,感觉很适合现在的研究.下面转载的一篇博客,写的很细致,很有用. 业界一直在谈论大数据,对于统计而言,大数据其实意味着要不是样本量增加n→∞,要不就是维度的增加p→∞,亦或者两者同时增加,并且维度与样本量的增

在局部线性嵌入(LLE)原理总结中,我们对流形学习中的局部线性嵌入(LLE)算法做了原理总结.这里我们就对scikit-learn中流形学习的一些算法做一个介绍,并着重对其中LLE算法的使用方法做一个实践上的总结. 1. scikit-learn流形学习库概述 在scikit-learn中,流形学习库在sklearn.manifold包中.里面实现的流形学习算法有: 1)多维尺度变换MDS算法:这个对应的类是MDS.MDS算法希望在降维时在高维里样本之间的欧式距离关系在低维可以得到保留.由于降维

压缩感知代码初学 实现:1-D信号压缩传感的实现 算法:正交匹配追踪法OMP(Orthogonal Matching Pursuit)   >几个初学问题   1. 原始信号f是什么?我采集的是原始信号f还是y = Af得到的y? 记原始信号为f,我们在sensor方得到的原始信号就是n*1的信号f,而在receiver方采集到的信号是y.针对y=Af做变换时,A(m*n )是一个随机矩阵(真的很随机,不用任何正交啊什么的限定).通过由随机矩阵变换内积得到y,我们的目标是从y中恢复f.由于A是m

本渣想回过头来整理一下MATLAB的一些基本的知识(很多东西比较琐碎,应该系统的梳理梳理),下文中没有提到的,自己用help查即可. 此文用来存个档,便于回顾. 由于matlab各版本部分语法存在差异,可能会出现bug,用help查帮助文档即可. 如果没有装Matlab,我这里有一篇建模软件的博客:https://www.cnblogs.com/fangxiaoqi/p/10563509.html 变量名:字母数字串(第一个字符必须英文字母 | 字符间无空格 | 最多19个字符): 用%注解:

1. 线性模型简介 0x1:线性模型的现实意义 在一个理想的连续世界中,任何非线性的东西都可以被线性的东西来拟合(参考Taylor Expansion公式),所以理论上线性模型可以模拟物理世界中的绝大多数现象.而且因为线性模型本质上是均值预测,而大部分事物的变化都只是围绕着均值而波动,即大数定理. 事物发展的混沌的线性过程中中存在着某种必然的联结.事物的起点,过程,高潮,衰退是一个能被推演的过程.但是其中也包含了大量的偶然性因素,很难被准确的预策,只有一个大概的近似范围.但是从另一方面来说,偶然

线性回归是机器学习中最基础的模型,掌握了线性回归模型,有利于以后更容易地理解其它复杂的模型. 线性回归看似简单,但是其中包含了线性代数,微积分,概率等诸多方面的知识.让我们先从最简单的形式开始. 一元线性回归(Simple Linear Regression): 假设只有一个自变量x(independent variable,也可称为输入input, 特征feature),其与因变量y(dependent variable,也可称为响应response, 目标target)之间呈线性关系,当然x

目录 一.引言 1.什么是.为什么需要深度学习 2.简单的机器学习算法对数据表示的依赖 3.深度学习的历史趋势 最早的人工神经网络:旨在模拟生物学习的计算模型 神经网络第二次浪潮:联结主义connectionism 神经网络的突破 二.线性代数 1. 标量.向量.矩阵和张量的一般表示方法 2. 矩阵和向量的特殊运算 3. 线性相关和生成子空间 I. 方程的解问题 II. 思路 III. 结论 IV.求解方式 4. 范数norm I. 定义和要求 II. 常用的\(L^2\)范数和平方\(L^2\

一.一般线性回归遇到的问题 在处理复杂的数据的回归问题时,普通的线性回归会遇到一些问题,主要表现在: 预测精度:这里要处理好这样一对为题,即样本的数量和特征的数量 时,最小二乘回归会有较小的方差 时,容易产生过拟合 时,最小二乘回归得不到有意义的结果 模型的解释能力:如果模型中的特征之间有相互关系,这样会增加模型的复杂程度,并且对整个模型的解释能力并没有提高,这时,我们就要进行特征选择. 以上的这些问题,主要就是表现在模型的方差和偏差问题上,这样的关系可以通过下图说明: (摘自:机器学习实战)

目录 第1讲 前言:本书讲什么:如何使用本书: 第2讲 初始SLAM:引子-小萝卜的例子:经典视觉SLAM框架:SLAM问题的数学表述:实践-编程基础: 第3讲 三维空间刚体运动 旋转矩阵:实践-Eigen:旋转向量和欧拉角:四元数:相似.仿射.射影变换:实践-Eigen几何模块:可视化演示: 第4讲 李群与李代数 李群李代数基础:指数与对数映射:李代数求导与扰动模型:实践-Sophus:相似变换群与李代数:小结: 第5讲 相机与图像 相机模型:图像:实践-图像的存取与访问:实践-拼接点云: 第

Regression Shrinkage and Selection via the lasso 众所周知,Robert Tibshirani是统计领域的大佬,这篇文章在1996年提出了LASSO,之后风靡整个高维领域,并延伸出许多种模型.这篇文章截止2019.5.16已经获得了27991的引用量(跪下). 虽然LASSO是非常直观且大家都很熟悉的模型,但重温经典也无不可.了解一个模型就去读原作者的文章,获得的信息是最没有损失的. Background introduction 在回归模型的场景

目录 语法 c++ java 动态规划 多重背包 最长不下降子序列 计算几何 向量(结构体) 平面集合基本操作 二维凸包 旋转卡壳 最大空矩形 | 扫描法 平面最近点对 | 分治 最小圆覆盖 | 随机增量法 三维向量(结构体) 三维凸包 几何杂项 数据结构 ST表 单调队列 树状数组 线段树 并查集 左偏树 珂朵莉树,老司机树 莫队 二叉搜索树 一些建议 图论 图论的一些概念 图论基础 最短路径 最小生成树 树论的一些概念 最近公共祖先 联通性相关 图上的NP-hard问题 弦图+区间图 | 最