直接跳过第一讲.从第二讲Perceptron开始,记录这一讲中几个印象深的点: 1. 之前自己的直觉一直对这种图理解的不好,老按照x.y去理解. a) 这种图的每个坐标代表的是features:features的值是有物理意义的. b) 而圈圈和叉叉是为了标注不同的样本(正样本 负样本),即label:为了后续的很多简便表示,这里正样本取+1,负样本取-1 2. Perceptron Learning策略的几何意义:表示临界线(面)的法向量旋转方向 由于label设为了+1和-1,可以直接用w+…

Perceptron - 感知机,是一种二元线性分类器,它通过对特征向量的加权求和,并把这个”和”与事先设定的门槛值(threshold)做比较,高于门槛值的输出1,低于门槛值的输出-1.其中sign 是取符号函数,括号中所包含的内容大于0时,取+1:小于0时,取-1. 对h(x)做一些数学上的简化.变成向量表示: 感知机(perceptron)是一个线性分类器(linear classifiers).sign(WTX)其实就相当于WTX=0,都表示一个超平面. PLA算法只有在满足训练样本是线…

感知机是支持向量机SVM和神经网络的基础 f = sign(wx+b) 这样看起来好像是LR是差不多的,LR是用的sigmoid函数,PLA是用的sign符号函数,两者都是线性分类器,主要的差别在于策略不同,即损失函数不同. LR是用的均方误差,PLA是用的误分类点到分离超平面的总距离. 感知机模型: f = sign(wx+b) 几何解释: wx+b = 0是一个超平面s,w是s的法向量,b是超平面的截距. 理想情况下,s把正负类分开. 感知机学习策略: 损失函数的选取是:误分类点到超平面s的…

此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法> (一) PLA算法是基本的binary Classification算法. 一个基本的问题是,对于银行,假设我知道用户的年龄.性别.工作.工资,那么应不应该发信用卡给他? 那么它在二维空间里就是一条分割平面的直线. 如何从拥有无限多h的H中选择g? 上述算法的一种实现是: 从上述算法中可以知道:(以二维空间为例)如果没有一条直线能够完全的分开数据点,即:输入数据不是线性可分的,那么上述算法永远不会停止.一种解决方法是:…

一.概论 对于给定的n维(两种类型)数据(训练集),找出一个n-1维的面,能够"尽可能"地按照数据类型分开.通过这个面,我们可以通过这个面对测试数据进行预测. 例如对于二维数据,要找一条直线,把这些数据按照不同类型分开.我们要通过PLA算法,找到这条直线,然后通过判断预测数据与这条直线的位置关系,划分测试数据类型.如下图: 二.PLA的原理 先初始化一条直线,然后通过多次迭代,修改这条直线,通过多次迭代,这条直线会收敛于接近最佳分类直线. 修改直线的标准是,任意找出一个点(训练数据中的…

1.论文“A fast learning algorithm for deep belief nets”的“explaining away”现象的解释: 见:Explaining Away的简单理解 2.论文“A fast learning algorithm for deep belief nets”的整个过程及其“Complementary priors”的解释: 见:paper:A fast learning algorithm for deep belief nets和 [2014041…

论文笔记(2):A fast learning algorithm for deep belief nets. 这几天继续学习一篇论文,Hinton的A Fast Learning Algorithm for Deep Belief Nets.这篇论文一开始读起来是相当费劲的,学习了好几天才了解了相关的背景,慢慢的思路也开始清晰起来.DBN算法就是Wake-Sleep算法+RBM,但是论文对Wake-Sleep算法解释特别少.可能还要学习Wake-Sleep和RBM相关的的知识才能慢慢理解,今天…

1. 感知机原理(Perceptron) 2. 感知机(Perceptron)基本形式和对偶形式实现 3. 支持向量机(SVM)拉格朗日对偶性(KKT) 4. 支持向量机(SVM)原理 5. 支持向量机(SVM)软间隔 6. 支持向量机(SVM)核函数 1. 前言 今天终于能把感知机的实现补上了,感知机的原理在1. 感知机原理(Perceptron)中已经详尽的介绍,今天就是对感知机的两种实现方式,进行讲解. 2. 感知机实现 2.1 原始形式算法 假设读者们已经了解了感知机的原始形式的原理(不…

Orthogonal Least Squares Learning Algorithm for Radial Basis Function Networks S. Chen, C. F. N. Cowan, and P. M. Grant…

题目:Clinically Applicable Deep Learning Algorithm Using Quantitative Proteomic Data 期刊:Journal of Proteome Research 发表时间:August 2, 2019 DOI:: 10.1021/acs.jproteome.9b00268 分享人:翁海玉 内容与观点: 本研究描述了一种优化的基于深度学习(DL)的胰腺癌诊断方法并测试了该方法的分类能力. 1.实验设计 1.1数据集构建:该方法使用…