标准的线性回归模型的假设之一是因变量方差齐性,即因变量或残差的方差不随自身预测值或其他自变量的值变化而变化.但是有时候,这种情况会被违反,称为异方差性,比如因变量为储蓄额,自变量为家庭收入,显然高收入家庭由于有更多的可支配收入,因此储蓄额差异较大,而低收入家庭由于没有过多的选择余地,因此储蓄会比较有计划和规律. 异方差性如果还是使用普通最小二乘法进行估计,那么会造成以下问题 1.估计量仍然具有无偏性,但是不具备有效性2.变量的显著性检验失去意义3.由于估计量变异程度增大,导致模型预测误差增大,精

起本篇题目还是比较纠结的,原因是我本意打算寻找这样一个算法:在测量数据有比较大离群点时如何估计原始模型. 上一篇曲面拟合是假设测量数据基本符合均匀分布,没有特别大的离群点的情况下,我们使用最小二乘得到了不错的拟合结果. 但是当我加入比如10个大的离群点时,该方法得到的模型就很难看了.所以我就在网上搜了一下,有没有能够剔除离群点的方法. 结果找到了如下名词:加权最小二乘.迭代最小二乘.抗差最小二乘.稳健最小二乘. 他们细节的区别我就不过分研究了,不过这些最小二乘似乎表达的是一个意思: 构造权重函数

IRLS用于解决这种目标函数的优化问题(实际上是用2范数来近似替代p范数,特殊的如1范数). 可将其等价变形为加权的线性最小二乘问题: 其中W(t)可看成对角矩阵,每步的w可用下面的序列代替 如果 p=1,则将w(t)换为这种形式 有时为了保证分母不为零,加上了一个比较项(          )

以下是Kalman的收敛性证明思路: cite:Stochastic Processes and Filtering Theory

通常我们使用的最小二乘都需要预先设定一个模型,然后通过最小二乘方法解出模型的系数. 而大多数情况是我们是不知道这个模型的,比如这篇博客中z=ax^2+by^2+cxy+dx+ey+f 这样的模型. 局部加权线性最小二乘就不需要我们预先知道待求解的模型,因为该方法是基于多个线性函数的叠加,最终只用到了线性模型. 计算线性模型时引入了一个加权函数: 来给当前预测数据分配权重,分配机制是:给距离近的点更高的权重,给距离远的点更低的权重. 公式中的k类似与高斯函数中的sigma. 当sigma变大时,函

1.源码 function (x, y, wt = NULL, intercept = TRUE, tolerance = 1e-, yname = NULL) { x <- as.matrix(x) y <- as.matrix(y) xnames <- colnames(x)#x的列名 if (is.null(xnames)) { if (ncol(x) == 1L) #赋予列名 xnames <- "X" else xnames <- paste0(

只看了前面的部分,灭有看实验,觉得整体风格比较傻白甜,与我的想法不谋而合.简单明了,用起来应该比较方便. 初步探测:如果有直线,就给线性插值一下. 分级聚类:利用简单的阈值给聚类了一下,分成了段段. 直线提取:分段最小二乘法 直线匹配:加权最小二乘,长的线,权重更大. 选一组直线配对,加上惯导的信息,就可以确定旋转的角度sita.然后整个旋转一下,获取两组相互平行的直线,平行线之间的距离d.d在一定范围内,就认为匹配上了. 移除错误匹配:RANSAC

一.扩展包的基本操作语句R安装好之后,默认自带了"stats" "graphics"  "grDevices" "utils" "datasets"  "methods" "base"这七个包,这七个包是不允许被卸载和删除的.1.扩展包的安装install.packages("扩展包名称") 也可以在手动安装,所有的安装包都可以在网站https:/

说来惭愧,很久没有更新自己的博客了.期间个人生活经历了很多变故,心理上的打击尤甚.加之没有取得好的科研成果,痛定思痛,还是下苦功夫多多学习. 最近对比验证各种方法的插值精度,用到了R语言地统计学包,由于没有中文文档,故自己干脆将其翻译了出来.欢迎转载引用,但请注明出处http://www.cnblogs.com/jingnianq/p/6606159.html . geoR : 地学统计学数据分析包 简明文档 翻译:jqrneu@163.com Paulo J. Ribeiro Jr. & Pe

  当我们想研究不同sample的某个变量A之间的差异时,往往会因为其它一些变量B对该变量的固有影响,而影响不同sample变量A的比较,这个时候需要对sample变量A进行标准化之后才能进行比较.标准化的方法是对sample 的 A变量和B变量进行loess回归,拟合变量A关于变量B的函数 f(b),f(b)则表示在B的影响下A的理论取值,A-f(B)(A对f(b)残差)就可以去掉B变量对A变量的影响,此时残差值就可以作为标准化的A值在不同sample之间进行比较. Loess局部加权多项式回

RTKLIB源码解析(一)--单点定位(pntpos.c) 标签: GNSS RTKLIB 单点定位 [TOC] pntpos int pntpos (const obsd_t *obs, int n, const nav_t *nav, const prcopt_t *opt, sol_t *sol, double *azel, ssat_t *ssat, char *msg) 所在文件:pntpos.c 功能说明:依靠多普勒频移测量值和伪距来进行单点定位,给出接收机的位置.速度和钟差 参数说

1 总体介绍 在以下主题中,我们将回顾有助于分析时间序列数据的技术,即遵循非随机顺序的测量序列.与在大多数其他统计数据的上下文中讨论的随机观测样本的分析不同,时间序列的分析基于数据文件中的连续值表示以等间隔时间间隔进行的连续测量的假设. 本节描述的方法的详细讨论可以在Anderson(1976),Box and Jenkins(1976),Kendall(1984),Kendall and Ord(1990),Montgomery,Johnson和Gardiner(1990),Pankratz(

原文链接:https://zhuanlan.zhihu.com/p/28149195 1.最小二乘拟合 实例1 import numpy as np import matplotlib.pyplot as plt from scipy.optimize import leastsq plt.figure(figsize=(9,9)) x=np.linspace(0,10,1000) X = np.array([8.19, 2.72, 6.39, 8.71, 4.7, 2.66, 3.78]) Y

这里用到的还是最小二乘方法,和上一次这篇文章原理差不多. 就是首先构造最小二乘函数,然后对每一个系数计算偏导,构造矩阵乘法形式,最后解方程组. 比如有一个二次曲面:z=ax^2+by^2+cxy+dx+ey+f 首先构造最小二乘函数,然后计算系数偏导(我直接手写了): 解方程组(下图中A矩阵后面求和符号我就没写了啊),然后计算C: 代码如下: clear all; close all; clc; a=;b=;c=-;d=;e=;f=; %系数 n=:; x=repmat(n,,); y=repm

当我们想研究不同sample的某个变量A之间的差异时,往往会因为其它一些变量B对该变量的固有影响,而影响不同sample变量A的比较,这个时候需要对sample变量A进行标准化之后才能进行比较.标准化的方法是对sample 的 A变量和B变量进行loess回归,拟合变量A关于变量B的函数 f(b),f(b)则表示在B的影响下A的理论取值,A-f(B)(A对f(b)残差)就可以去掉B变量对A变量的影响,此时残差值就可以作为标准化的A值在不同sample之间进行比较. Loess局部加权多项式回归

1.最小二乘拟合 实例1 import numpy as np import matplotlib.pyplot as plt from scipy.optimize import leastsq plt.figure(figsize=(9,9)) x=np.linspace(0,10,1000) X = np.array([8.19, 2.72, 6.39, 8.71, 4.7, 2.66, 3.78]) Y = np.array([7.01, 2.78, 6.47, 6.71, 4.1, 4

题注:主成分分析分析与因子分析也有不同,主成分分析仅仅是变量变换,而因子分析需要构造因子模型.主成分分析:原始变量的线性组合表示新的综合变量,即主成分:因子分析:潜在的假想变量和随机影响变量的线性组合表示原始变量.因子分析与回归分析不同,因子分析中的因子是一个比较抽象的概念,而回归因子有非常明确的实际意义! 一. 问题引入 你是否曾经遇到过以下问题: 二. 概念 1. 高中大家都读过吧?(没读过怎么可能看到我这篇文章,真闹心,哈哈!)那是一个以成绩论英雄的时代,理科王子.文科小生是时代标签!对一

1.什么是稀疏表示: 用较少的基本信号的线性组合来表达大部分或者全部的原始信号. 其中,这些基本信号被称作原子,是从过完备字典中选出来的:而过完备字典则是由个数超过信号维数的原子聚集而来的.可见,任一信号在不同的原子组下有不同的稀疏表示. 假设我们用一个M*N的矩阵表示数据集X,每一行代表一个样本,每一列代表样本的一个属性,一般而言,该矩阵是稠密的,即大多数元素不为0. 稀疏表示的含义是,寻找一个系数矩阵A(K*N)以及一个字典矩阵B(M*K),使得B*A尽可能的还原X,且A尽可能的稀疏.A便是

照例文章第一段跑题,先附上个段子(转载的哦~): I hate CS people. They don't know linear algebra but want to teach projective geometry. They don't know any probability but want to use graphical models. They don't understand stats at all but still do machine learning like c

此主要讨论图像处理与分析.虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来,但鉴于它们与计算机视觉的紧密联系,以 及它们的出处,没有把它们纳入到图像处理与分析中来.同样,这里面也有一些 也可以划归到计算机视觉中去.这都不重要,只要知道有这么个方法,能为自己 所用,或者从中得到灵感,这就够了. 注意:Registration可翻译为“配准”或“匹配”,一般是图像配准,特征匹配(特征点匹配). 15. Image Registration图像配准最早的应用在医学图像上,在图像融合

此部分是计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面.对于自己不太熟悉的领域比如摄像机标定和立体视觉,仅仅列出上google上引用次数比较多的文献.有一些刚刚出版的文章,个人非常喜欢,也列出来了. 18. Image Stitching图像拼接,另一个相关的词是Panoramic.在Computer Vision: Algorithms and Applications一书中,有专门一章是讨论这个问题.这里的两面文章一篇是综述,一篇是这方面很经典的文章.[20