背景:识别手写数字,给一组数据集ex3data1.mat,,每个样例都为灰度化为20*20像素,也就是每个样例的维度为400,加载这组数据后,我们会有5000*400的矩阵X(5000个样例),会有5000*1的矩阵y(表示每个样例所代表的数据).现在让你拟合出一个模型,使得这个模型能很好的预测其它手写的数字. (注意:我们用10代表0(矩阵y也是这样),因为Octave的矩阵没有0行) 我们随机可视化100个样例,可以看到如下图所示: 一:多类别分类(Multi-class Classific…

作业文件 machine-learning-ex3 1. 多类分类(Multi-class Classification) 在这一部分练习,我们将会使用逻辑回归和神经网络两种方法来识别手写体数字0到9.手写体数字自动识别在今天有很 广泛的应用.这个联系将会向我们展示我们学习到的方法是如何应用到这个分类任务的.我们可以拓展我们之前实现的逻辑回归方法,并应用到一对多的分类任务. 1.1 数据集 在 ex3data1.mat文件中有给定的手写体数字的数据集,里面有5000个训练样本..mat格式数据表…

Andrew Ng机器学习课程笔记(三)之正则化 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365475.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录Andrew Ng课程第三章正则化,主要介绍了线性回归和逻辑回归中,怎样去解决欠拟合和过拟合的问题 简要介绍:在进行线性回归或逻辑回归时,常常会出现以下三种情况 回归…

Andrew Ng机器学习课程笔记(四)之神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录Andrew Ng课程第四章和第五章的神经网络,主要介绍前向传播算法,反向传播算法,神经网络的多类分类,梯度校验,参数随机初始化,参数的更新等等 1.神经网络概述…

Andrew Ng机器学习课程笔记(二)之逻辑回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364636.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第二章逻辑回归,主要介绍了梯度下降法,逻辑回归的损失函数,多类别分类等等 简要介绍:逻辑回归算法是分类算法,我们将它作为分类算法使用.有时候…

Andrew Ng机器学习课程9-补充 首先要说的还是这个bias-variance trade off,一个hypothesis的generalization error是指的它在样本上的期望误差,这个样本不一定是在training set中的.所以出现了两部分的误差,bias是指的是偏差,未能捕获由数据展示出的结构,underfit,large bias.variance指的是把碰巧出现在训练集数据的pattern给捕获了,但是有限的训练样本并不能反映wider pattern of the…

Andrew Ng机器学习课程14(补) 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 利用EM对factor analysis进行的推导还是要参看我的上一篇博文<Andrew Ng机器学习课程13>中关于EM的运算推导过程,才能对factor analysis中的相关转换有所理解. 一个具体的应用例子: 例如,在企业形象或品牌形象的研究中,消费者可以通过一个有 24 个指标构成的评价体系,评价百货商场的 24 个方面的优劣.但消费者主要关心的是三个…

Andrew Ng机器学习课程笔记(五)之 应用机器学习的建议 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7368472.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第五章应用机器学习的建议,主要介绍了在测试新数据出现较大误差该怎么处理,这期间讲到了数据集的分类,偏差,方差,学习曲线等概念,帮…

title: Andrew Ng机器学习课程笔记--week1(机器学习介绍及线性回归) tags: 机器学习, 学习笔记 grammar_cjkRuby: true --- 之前看过一遍,但是总是模模糊糊的感觉,也刚入门,虽然现在也是入门,但是对于一些概念已经有了比较深的认识(相对于最开始学习机器学习的时候).所以为了打好基础,决定再次学习一下Andrew Ng的课程,并记录笔记以供以后复习参考. 1. 内容概要 Introduction 什么是机器学习 监督学习 非监督学习 Linear R…

笔记总结,各章节主要内容已总结在标题之中 Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式) Andrew Ng机器学习课程笔记--week3(逻辑回归&正则化参数) Andrew Ng机器学习课程笔记--week4(神经网络) Andrew Ng机器学习课程笔记--week5(上)(神经网络损失函数&反向传播算法) Andrew Ng机器学习课程笔记--week5(下)(…

Andrew Ng机器学习课程笔记(六)之 机器学习系统的设计 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7392408.html 前言 这篇博客主要记录了Andrew Ng课程第6章机器学习系统的设计,Andrew用他的丰富经验讲述了如何有效.耗时少地实现一个机器学习系统,内容包括误差分析,误差度量,查准率和查全率等等 I 首先要做什么 以一个垃圾邮件分类器算法为例,为了解决这样一个问题,我们首先要做的决定是如何选择并…

Andrew Ng机器学习课程笔记(一)之线性回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364598.html 前言 学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第一章线性回归,主要介绍了梯度下降法,正规方程,损失函数,特征缩放,学习率的选择等等 1.梯度下降法 原理图解: (1)  目标:最小化建立…

课程笔记 Coursera—Andrew Ng机器学习—课程笔记 Lecture 9_Neural Networks learning 作业说明 Exercise 4,Week 5,实现反向传播 backpropagation神经网络算法, 对图片中手写数字 0-9 进行识别. 数据集 :ex4data1.mat.手写数字图片数据,5000个样例.每张图片20px * 20px,也就是一共400个特征.数据集X维度为5000 * 400 ex4weights.mat.神经网络每一层的权重. 文件…

Andrew Ng机器学习课程6 说明 在前面尾随者台大机器学习基石课程和机器学习技法课程的设置,对机器学习所涉及到的大部分的知识有了一个较为全面的了解,可是对于没有动手敲代码并加以使用的情况,基本上是不可能掌握好的.特别是我的学习进程是袭击式的,因此.会非常快忘掉.心中仅仅剩下一个主要的纲要,所以后面要通过解说更为具体的Andrew Ng教授的机器学习课程进行回想和总结,希望能够抓住它的来龙去脉. 所以总结的内容主要是推导的思路.仅仅要能够把握住思路,就能保持长久的记忆. 主要内容 朴素贝叶斯…

Andrew Ng机器学习课程10补充 VC dimension 讲到了如果通过最小化训练误差,使用一个具有d个参数的hypothesis class进行学习,为了学习好,一般需要参数d的线性关系个训练样本.到这里需要指出一点,这个结果是基于empirical risk minimization得到的,而对于那些大部分的discriminative的学习算法采用的通过最小化training error或者training error的近似值,前面推导的结论并不总是可以用,而对于non_ERM 学…

Andrew Ng机器学习课程10 a example 如果hypothesis set中的hypothesis是由d个real number决定的,那么用64位的计算机数据表示的话,那么模型的个数一共有k=264d,那么训练样本的数量由上一节课的公式可推出训练样本的数量为: m≥O(dγ2log1δ) .为保证ERM在这样的hypothesis set上能够达到一定的error bound,训练样本的数量需要达到上式得要求. VC dimension 假定有d个点的数据集S,hypothesi…

Andrew Ng机器学习课程9 首先以一个工匠为例,说明要成为一个出色的工匠,就需要掌握各种工具的使用,才能知道在具体的任务中选择什么工具来做.所以今天要讲的就是机器学习的理论部分. bias variance trade off,以线性回归为例,underfitting对应high的bias(偏差),overfitting对应high的variance(方差),主要是拟合出了一些奇怪的特性.同样的对于分类问题,复杂的分类边界(decision boundary)也可能出现high varia…

Andrew Ng机器学习课程17(2) 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:主要介绍了利用value iteration和policy iteration两种迭代算法求解MDP问题,还介绍了在实际应用中如何通过积累"经验"更新对转移概率和reward的估计的学习模型,并结合两种迭代算法进行求解的完整过程. 2015-10-11 艺少…

Andrew Ng机器学习课程17(1) 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:主要介绍了强化学习与监督学习的设定上的区别,以及强化学习的框架,结合着马尔可夫决策过程来公式化描述强化学习通常的形式. 2015-10-10 艺少…

Andrew Ng机器学习课程16 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:主要介绍了ICA算法,并利用最大似然估计和随机梯度上升算法进行求解,得到了ICA算法的迭代公式.主要用于从混叠信号中恢复出原始信号. 2015-10-9 艺少…

Andrew Ng机器学习课程15 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:主要介绍了主成分分析,从基本的直观观念出发逐渐推导至公式化的描述,得到解决PCA的奇异值分解方法.最后介绍了一下PCA的应用,对于特征的可视化压缩是一个非常直观的应用. 关于奇异值分解及其应用可以参看我的博文< 矩阵分解之奇异值分解>有着精彩而详细的论述. 2015-10-9 艺少…

Andrew Ng机器学习课程14 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 引言:主要介绍了当数据量不足,利用EM算法对混合高斯模型进行建模时数据量比较少时,得到的协方差矩阵是一个奇异矩阵,即行列式为0,也就是协方差矩阵的逆矩阵是不存在的,所以也就无法使用混合高斯进行建模.需要对 协方差矩阵进行限制,比如对角阵或者是单位矩阵等.这样限制之后实际上是认为不同维的数据之间没有相关性,因此不能把握数据不同维之间的相关性.而本文介绍的factor ana…

Andrew Ng机器学习课程13 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 引言:主要从一般的角度介绍EM算法及其思想,并推导了EM算法的收敛性.最后用一般的EM算法回顾了混合高斯模型的求解过程,并推导了通过EM算法求解混合高斯模型参数的过程.视频笔记会通过增补内容加以补充. 2015-9-30 艺少…

Andrew Ng机器学习课程12 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 引言:主要讲述了batch learning和online learning的区别,然后介绍了经典的非监督算法:k-means算法.然后介绍了混合高斯模型以及求解时采用的EM算法.本文是基于lecture notes进行的总结,等上完视频课,会通过12课补充来丰富这些内容. 2015-9-29 艺少…

Andrew Ng机器学习课程11之使用machine learning的建议 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 2015-9-28 艺少…

Andrew Ng机器学习课程11之贝叶斯统计和正则化 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 在统计学中有两个学派,一个是频率学派,另一个是贝叶斯学派.频率学派认为参数θ是一个固定的值,而不是随机变量,只不过是不知道它的值而已:而贝叶斯学派则认为任何参数θ都是一个随机变量,也有自己的概率分布.所以这两个学派分别形成了最大似然估计(maximum likelihood estimate,MLE)和最大后验估计(maximum a posterio…

简介 最近在参加一个利用机器学习来解决安全问题的算法比赛,但是对机器学习的算法一直不了解,所以先了解一下机器学习相关的算法. Andrew Ng就是前段时间从百度离职的吴恩达.关于吴恩达是谁,相信程序员/媛都知道. Andrew Ng的机器学习的公开课其实就是当年吴恩达还在斯坦福大学时在coursera上面开设的一门机器学习的入门的公开课,课程地址链接为Andrew Ng机器学习公开课 Andrew Ng机器学习公开课的评价,可以参考知乎上面的问题如何评价 Coursera 的机器学习 (And…

我的机器学习系列从现在开始将会结合Andrew Ng老师与sklearn的api是实际应用相结合来写了. 吴恩达(1976-,英文名:Andrew Ng),华裔美国人,是斯坦福大学计算机科学系和电子工程系副教授,人工智能实验室主任.吴恩达是人工智能和机器学习领域国际上最权威的学者之一.吴恩达也是在线教育平台Coursera的联合创始人(with Daphne Koller). 2014年5月16日,吴恩达加入百度,担任百度公司首席科学家,负责百度研究院的领导工作,尤其是Baidu Brain计划…

本人从2017年起,开始涉猎机器学习.作为入门,首先学习的是斯坦福大学Andrew Ng(吴恩达)教授的Coursera课程 2 单变量线性回归 线性回归属于监督学习(Supervise Learning),就是Right answer is given. 课程中,举了一个估计房产价格的例子,在此,我就直接使用两组数据去作为例子使用线性回归,拟合出效果最好的曲线. 2.1 单变量线性回归算法的思路 根据数据的分布,确定模型其中,h(x)是假设函数(Hypothesis Fuction),θ1和θ…

之前经学长推荐,开始在B站上看Andrew Ng的机器学习课程.其实已经看了1/3了吧,今天把学习笔记补上吧. 吴恩达老师的Machine learning课程共有113节(B站上的版本https://www.bilibili.com/video/av9912938).这篇学习笔记是结合第一.二部分(我所理解的): 第一部分:概览机器学习,介绍其中的一些专业名词及定义.Section 1-26 第二部分:如何使用Octave实现机器学习中的基本算法(Ocatave就是开源版的Matlab).Se…