目录 概 主要内容 RKHS-wiki 概 这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了. 主要内容 首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质. Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子: \[\del…

Reproducing kernel Hilbert space Mapping the points to a higher dimensional feature space http://www.gatsby.ucl.ac.uk/~gretton/coursefiles/lecture4_introToRKHS.pdf [We next show that every reproducing kernel Hilbert space has a unique positive defini…

在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况,那里用到的方法就是通过一个非线性映射 ϕ(⋅) 将原始数据进行映射,使得原来的非线性问题在映射之后的空间中变成线性的问题.然后我们利用核函数来简化计算,使得这样的方法在实际中变得可行.不过,从线性到非线性的推广我们并没有把 SVM 的式子从头推导一遍,而只是直接把最终得到的分类函数…

Definition A Hilbert space H is a real or complex inner product space that is also a complete metric space with respect to the distance function induced by the inner product.[2] To say that H is a complex inner product space means that H is a complex…

http://mathworld.wolfram.com/HilbertSpace.html A Hilbert space is a vector space  with an inner product  such that the norm defined by turns  into a complete metric space. If the metric defined by the norm is not complete, then  is instead known as a…

希尔伯特空间是老希在解决无穷维线性方程组时提出的概念, 原来的线性代数理论都是基于有限维欧几里得空间的, 无法适用, 这迫使老希去思考无穷维欧几里得空间, 也就是无穷序列空间的性质. 大家知道, 在一个欧几里得空间R^n上,所有的点可以写成为:X=(x1,x2, x3,....xn).  那么类似的, 在一个无穷维欧几里得空间上点就是:X=(x1, x2, x3,....xn,.....), 一个点的序列. 欧氏空间上有两个重要的性质,一是每个点都有一个范数(绝对值,或者说是一个点到原点的距离)…

欧氏空间 → 线性空间 + 内积 ⇒ 内积空间(元素的长度,元素的夹角和正交) 内积空间 + 完备性 ⇒ 希尔伯特空间 0. 欧几里得空间 欧氏空间是一个特别的度量空间,它使得我们能够对其的拓扑性质,在包含了欧氏几何和非欧几何的流形的定义上发挥了作用. 约在公元前300年,古希腊数学家欧几里得建立了角和空间中距离之间联系的法则,现称为欧几里得几何.欧几里得首先开发了处理平面上二维物体的"平面几何",他接着分析三维物体的"立体几何",所有欧几里得的公理已被编排到叫做二…

The Representer Theorem, 表示定理. 给定: 非空样本空间: \(\chi\) \(m\)个样本:\(\{(x_1, y_1), \dots, (x_m, y_m)\}, x_i in \chi, y_i \in R\) 非负的损失函数: \(J:(\chi \times R^2)^m \to R^+\). 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是\(J\)有\(m \times 3\)个参数, 3代表: 样本\(x_i\) (一个\(\chi\…

Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果,最近在做一个东西的时候模型上遇到一点瓶颈于是终于决定也来了解一下这个魔幻的领域. 据说 Deep Learning 的 break through 大概可以从 Hinton 在 2006 年提出的用于训练 Deep Belief…

论文题目:<Domain Adaptation via Transfer Component Analysis> 论文作者:Sinno Jialin Pan, Ivor W. Tsang, James T. Kwok and Qiang Yang 论文链接:https://www.cse.ust.hk/~qyang/Docs/2009/TCA.pdf 会议期刊:IJCAI 2009 / IEEE Transactions on Neural Networks 2010 简介 领域自适应(Dom…