幂法的原理可参考此篇论文:http://d.wanfangdata.com.cn/Periodical/hnnydxxb2001Z1023 本文求解的是 3 阶矩阵最大特征值及其特征向量 下面是其 C++ 实现代码: #include <iostream> #include<stdio.h> #include<stdlib.h> #include<math.h> #include<iomanip> using namespace std; dou…

原文引自: 原文引自: http://blog.csdn.net/hguisu/article/details/7996185 感谢 1. PageRank算法概述 PageRank,即网页排名,又称网页级别.Google左侧排名或佩奇排名. 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法,自从Google在商业上获得空前的成功后,该算法也成为其他搜索引擎和学术界十分关注的计算模型.目前很多重要的链接分析算法都是在PageRank算法基础上衍生…

在Spark2.0版本中(不是基于RDD API的MLlib),共有四种聚类方法:             (1)K-means             (2)Latent Dirichlet allocation (LDA)             (3)Bisecting k-means(二分k均值算法)             (4)Gaussian Mixture Model (GMM).             基于RDD API的MLLib中,共有六种聚类方法:          …

1. PageRank算法概述 PageRank,即网页排名,又称网页级别.Google左側排名或佩奇排名.         在谷歌主导互联网搜索之前, 多数搜索引擎採用的排序方法, 是以被搜索词语在网页中的出现次数来决定排序--出现次数越多的网页排在越前面. 这个判据不能说毫无道理, 由于用户搜索一个词语. 通常表明对该词语感兴趣. 既然如此, 那该词语在网页中的出现次数越多, 就越有可能表示该网页是用户所须要的. 可惜的是, 这个貌似合理的方法实际上却行不大通. 由于依照这样的方法, 不论什…

PageRank,网页排名,又称网页级别.Google左侧排名或佩奇排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(Larry Page)之姓来命名.Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一.Google的创始人拉里·佩奇和谢尔盖·布林于1998年在斯坦福大学发明了这项技术. 1.算法原理 对于某个互联网网页A来说,该网页PageRank的计算基于以下两个基本假设…

[引言]--PCA降维的作用 面对海量的.多维(可能有成百上千维)的数据,我们应该如何高效去除某些维度间相关的信息,保留对我们"有用"的信息,这是个问题. PCA给出了我们一种解决方案和思路. PCA给我的第一印象就是去相关,这和数据(图像.语音)压缩的想法是一致的.当然,PCA像是一种有损的压缩算法.但是不要紧,去除掉的信息也许是噪声呢,而且损失的信息不是"主要成分". PCA 降维的概念不是简单的去除原特征空间的某些维度,而是找出原特征空间的新的正交基,并且这个…

KMP是一种复杂度较低的字符串比较算法.基本思路是对欲匹配字符串进行预处理,分析当k位匹配时可以后移的位数,所得的数构成该字符串的特征向量. 求特征向量Next int* Next(string p){ int m=p.length(); int *N=new int[m]; N[]=; ;i<m;i++){ ]; &&P[i]!=P[k])k=N[k-]; ; ; } return N; } 分析:边界N[0]=0; 从第1位开始向后构造N[i]:设临时变量k,令k为i-1位匹配时…

1    Unsupervised Learning 1.1    k-means clustering algorithm 1.1.1    算法思想 1.1.2    k-means的不足之处 1.1.3    如何选择K值 1.1.4    Spark MLlib 实现 k-means 算法 1.2    Mixture of Gaussians and the EM algorithm 1.3    The EM Algorithm 1.4    Principal Components…

1.使用QR分解获取特征值和特征向量 将矩阵A进行QR分解,得到正规正交矩阵Q与上三角形矩阵R.由上可知Ak为相似矩阵,当k增加时,Ak收敛到上三角矩阵,特征值为对角项. 2.奇异值分解(SVD) 其中U是m×m阶酉矩阵:Σ是半正定m×n阶对角矩阵:而V*,即V的共轭转置,是n×n阶酉矩阵. 将矩阵A乘它的转置,得到的方阵可用于求特征向量v,进而求出奇异值σ和左奇异向量u. #coding:utf8 import numpy as np np.set_printoptions(precision…

KMP简介 KMP是一种由Knuth(D.E.Knuth).Morris(J.H.Morris)和Pratt(V.R.Pratt)设计的字符串匹配算法.对目标串T[0:n-1]中查找与之匹配的模式串P[0:m-1],KMP算法的时间复杂度为O(n+m),它是核心思想是通过目标串和模式串已经部分匹配的信息,减少或者避免冗余的比较,达到提高效率的目的. 暴力匹配简介 通常情况下,C/C++初学者是采用"暴力匹配"算法来解决目标串T[0:n-1]和模式串P[0:m-1]的匹配问题."…

LDA, Linear Discriminant Analysis,线性判别分析.注意与LDA(Latent Dirichlet Allocation,主题生成模型)的区别. 1.引入 上文介绍的PCA方法对提取样本数据的主要变化信息非常有效,而忽略了次要变化的信息.在有些情况下,次要信息可能正是把不同类别区分开来的分布方向.简单来说,PCA方法寻找的是数据变化的主轴方向,而判别分析寻找的是用来有效分类的方向.二者侧重点不同.在图1.1可以看出变化最大的方向不一定能最好的区分不同类别. 图1.1…

主成分分析(Principal components analysis)-最大方差解释 在这一篇之前的内容是<Factor Analysis>,由于非常理论,打算学完整个课程后再写.在写这篇之前,我阅读了PCA.SVD和LDA.这几个模型相近,却都有自己的特点.本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了.PCA以前也叫做Principal factor analysis. 1. 问题 真实的训练数据总是存在各种各样的问题: 1. 比如拿到一个汽车的样本,里面既有以"…

1.理解特征值,特征向量 一个对角阵\(A\),用它做变换时,自然坐标系的坐标轴不会发生旋转变化,而只会发生伸缩,且伸缩的比例就是\(A\)中对角线对应的数值大小. 对于普通矩阵\(A\)来说,是不是也可以找到这样的向量,使得经\(A\)变换后,不改变方向而只伸缩?答案是可以的,这种向量就是\(A\)的特征向量,而对应的伸缩比例就是对应的特征值. 特征值会有复数是为什么? 首先要知道,虚数单位\(i\)对应的是旋转\(90^o\),那么,如果特征值是复数,则对应的特征向量经矩阵\(A\)变换后将…

一.LR LR,DT,SVM都有自身的特性,首先来看一下LR,工业界最受青睐的机器学习算法,训练.预测的高效性能以及算法容易实现使其能轻松适应工业界的需求.LR还有个非常方便实用的额外功能就是它并不会给出离散的分类结果,而是给出该样本属于各个类别的概率(多分类的LR就是softmax),可以尝试不同的截断方式来在评测指标上进行同一模型的性能评估,从而得到最好的截断分数.LR不管是实现还是训练或者预测都非常高效,很轻松的handle大规模数据的问题(同时LR也很适合online learning)…

整理去年做的小项目,纪念我的图像处理入门. 因为要在DSP上实现,所以完全手工C代码垒起来的,还要保证和PC端跑的结果一样,觉得可能特殊场景会有用,上传github,没有依赖任何库: 格式注释什么的暂时没有整理,没有优化,能用,但是可能不够快,也没有考虑内存开销的优化,直接就在DDR2/SRAM上跑的. Harris c代码实现    因为要匹配,最后对检测到的角点做了SAD(效率高) matlab代码网上down的,自己添加下采样和匹配改了个面目全非. DSP输出: Harris start:…

一.什么是SVM? SVM(Support Vector Machine)又称为支持向量机,是一种二分类的模型.当然如果进行修改之后也是可以用于多类别问题的分类.支持向量机可以分为线性和非线性两大类.其主要思想为找到空间中的一个更够将所有数据样本划开的超平面,并且使得本集中所有数据到这个超平面的距离最短. 那么,又怎么表示这个“都正确”呢?可以这样考虑:就是让那些“很有可能不正确”的数据点彼此分开得明显一点就可以了.对于其它“不那么可能不正确”或者说“一看就很正确”的数据点,就可以不用管了.这也…

转自http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html 几个特别有用 的链接: 更加深入理解pca,在斯坦福大学的机器学习上的更加深入的分析.. http://blog.csdn.net/ybdesire/article/details/64546435 http://blog.csdn.n…

参考链接: 拉格朗日乘子法和KKT条件 SVM为什么要从原始问题变为对偶问题来求解 为什么要用对偶问题 写在SVM之前——凸优化与对偶问题 1. 拉格朗日乘子法与KKT条件 2. SVM 为什么要从原始问题变为对偶问题来求解 1. 首先是我们有不等式约束方程,这就需要我们写成min max的形式来得到最优解.而这种写成这种形式对x不能求导,所以我们需要转换成max min的形式,这时候,x就在里面了,这样就能对x求导了.而为了满足这种对偶变换成立,就需要满足KKT条件(KKT条件是原问题与对偶问…

原始问题与对偶问题的关系 1,目标函数对原始问题是极大化,对对偶问题则是极小化 2,原始问题目标函数中的收益系数(优化函数中变量前面的系数)是对偶问题约束不等式中的右端常数,而原始问题约束不等式中的右端常数则是对偶问题中目标函数的收益系数 3,原始问题和对偶问题的约束不等式的符号方向相反 3,原始问题约束不等式系数矩阵转置后即为对偶问题的约束不等式的系数矩阵 4,原始问题的约束方程数对应于对偶问题的变量数,而原始问题的变量数对应于对偶问题的约束方程数 5,对偶问题的对偶问题是原始问题 SVM从原…

这个问题困扰了我许久,下面是我搜集整理到的答案 对偶问题将原始问题中的约束转为了对偶问题中的等式约束 方便核函数的引入 改变了问题的复杂度.由求特征向量w转化为求比例系数a,在原始问题下,求解的复杂度与样本的维度有关,即w的维度.在对偶问题下,只与样本数量有关.…

线段特征上的扫描点满足 (1).本文的线段特征定义为:L: [dL, φL, PLs, PLe]T,如图1所示.其中,dL为笛卡尔坐标系中原点(激光传感器所在位置)到线段的距离, φL为线段特征的倾角,PLs为线段特征起点,PLe为线段特征终点.线段特征在笛卡尔坐标系下方程为:                                                                                                              …

http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/ PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征.这k维特征称为主元,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征. feature reduction(特征降维):将一个m * n的矩阵A变换成一个m * r的矩阵,这样就会使得本来有n个feature的,变成了有r个feature了(r < n) 协方差: 协方差矩阵:    X为…

Implement strStr(). Returns a pointer to the first occurrence of needle in haystack, or null if needle is not part of haystack. 这个题考查的是KMP算法.先求特征向量,然后再进行匹配,确实能够大大提高效率.code例如以下: class Solution { public: char *strStr(char *haystack, char *needle) { if(…

欢迎增加Cocos2d-x 交流群:193411763 个中心点.1个旋转矩阵和3个1/2边长(注:一个旋转矩阵包括了三个旋转轴,若是二维的OBB包围盒则是一个中心点,两个旋转轴,两个1/2边长).       上述最后一种方法就是最经常使用的方法.下面来看一段Cocos2d-x 3.3beta0中CCOBB.h中的代码:         Vec3 _center; // 中心点 /* 下面三个变量为正交单位向量. 定义了当前OBB包围盒的x,y,z轴 用于计算矢量投影 */ Vec3 _xAx…

理论參考文献:但此文没有代码实现.这里自己实现一下,让理解更为深刻 问题:如果在IR中我们建立的文档-词项矩阵中,有两个词项为"learn"和"study",在传统的向量空间模型中,觉得两者独立. 然而从语义的角度来讲.两者是相似的.并且两者出现频率也类似,是不是能够合成为一个特征呢? <模型选择和规则化>谈到的特征选择的问题.就是要剔除的特征主要是和类标签无关的特征.比方"学生的名字"就和他的"成绩"无关,使用的…

2.1引导 2.2一维数组的创建与寻访 2.3二维数组的创建 2.4二维数组元素的标识 2.5二维数组的子数组寻访和赋值 2.6执行数组运算的常用函数 2.7数组运算和矩阵运算 2.8多项式的表达和创建 2.9多项式运算函数 2.10标准数组生成函数和数组操作函数 2.11数组构建技巧综合 2.12高维数组的创建 2.13关系运算 2.14逻辑操作 2.1 引导 2.1.1 function [ output_args ] = Untitled2( input_args ) x=: y=x.*e…

引用:https://blog.csdn.net/program_developer/article/details/80632779 将n维特征映射到k维上,只保留包含绝大部分方差的维度特征,而忽略包含方差几乎为0的特征维度,实现对数据特征的降维处理. PCA算法有两种实现方法:基于特征值分解协方差矩阵实现PCA算法.基于SVD分解协方差矩阵实现PCA算法. 针对第一种方案基于特征值分解协方差,步骤为: 1:对原始矩阵X进行去平均值. 2:求原始矩阵的协方差. 3:根据协方差矩阵计算特征值和对…

转自http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html 几个特别有用 的链接: 更加深入理解pca,在斯坦福大学的机器学习上的更加深入的分析.. http://blog.csdn.net/ybdesire/article/details/64546435 http://blog.csdn.n…

基础 from sympy import * 数学格式输出: init_printing() 添加变量: x, y, z, a, b, c = symbols('x y z a b c') 声明分数: Rational(1, 3) \(\displaystyle \frac{1}{3}\) 化简式子: simplify((x**3 + x**2 - x - 1)/(x**2 + 2*x + 1)) \(\displaystyle x - 1\) 因式分解: expand((x + 2)*(x -…

PCA与Kernel PCA介绍与对比 1. 理论介绍 PCA:是常用的提取数据的手段,其功能为提取主成分(主要信息),摒弃冗余信息(次要信息),从而得到压缩后的数据,实现维度的下降.其设想通过投影矩阵将高维信息转换到另一个坐标系下,并通过平移将数据均值变为零.PCA认为,在变换过后的数据中,在某一维度上,数据分布的更分散,则认为对数据点分布情况的解释力就更强.故在PCA中,通过方差来衡量数据样本在各个方向上投影的分布情况,进而对有效的低维方向进行选择. KernelPCA:是PCA的一个改进版…