一.原理和概念 1.回归 回归最简单的定义是,给出一个点集D,用一个函数去拟合这个点集.而且使得点集与拟合函数间的误差最小,假设这个函数曲线是一条直线,那就被称为线性回归:假设曲线是一条二次曲线,就被称为二次回归. 以下仅介绍线性回归的基本实现. 2.假设函数.误差.代价函数 参考  Machine Learning 学习笔记2 - linear regression with one variable(单变量线性回归) 最小化误差一般有两个方法:最小二乘法和梯度下降法 最小二乘法可以一步到位,…

目录 关联分析 Apriori原理 Apriori算法实现 - 频繁项集 Apriori算法实现 - 从频繁项集挖掘关联规则 一.关联分析 关联分析是一种在大规模数据集中寻找有趣关系的任务. 这些关系可以有两种形式: 频繁项集(frequent item sets): 经常出现在一块的物品的集合. 关联规则(associational rules): 暗示两种物品之间可能存在很强的关系. 相关术语 关联分析(关联规则学习): 从大规模数据集中寻找物品间的隐含关系被称作 关联分析(associat…

在<机器学习---线性回归(Machine Learning Linear Regression)>一文中,我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法.现在,让我们来实践一下吧. 先来回顾一下用最小二乘法求解参数的公式:. (其中:,,) 再来看一下随机梯度下降法(Stochastic Gradient Descent)的算法步骤: 除了算法中所需的超参数α(学习速率,代码中写为lr)和epsilon(误差值),我们增加了另一个超参数epoch(迭代次数).此外,为方便起见,…

<Machine Learning in Action>-- 浅谈线性回归的那些事 手撕机器学习算法系列文章已经肝了不少,自我感觉质量都挺不错的.目前已经更新了支持向量机SVM.决策树.K-近邻(KNN).贝叶斯分类,读者可根据以下内容自行"充电"(持续更新中): <Machine Learning in Action>-- 剖析支持向量机,单手狂撕线性SVM: https://www.zybuluo.com/tianxingjian/note/1755051…

Machine Learning读书会,面试&算法讲座,算法公开课,创业活动,算法班集锦 近期活动: 2014年9月3日,第8次西安面试&算法讲座视频 + PPT 的下载地址:http://blog.csdn.net/v_july_v/article/details/7237351#t40: 2014年10月18日,北京10月机器学习班开班,全部PPT 的下载地址见:http://blog.csdn.net/v_july_v/article/details/7237351#t63: 201…

K-近邻算法虹膜图片识别实战 作者:白宁超 2017年1月3日18:26:33 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结合视频学习和书籍基础的笔记所得.本系列文章将采用理论结合实践方式编写.首先介绍机器学习和深度学习的范畴,然后介绍关于训练集.测试集等介绍.接着分别介绍机器学习常用算法,分别是监督学习之分类(决策树.临近取样.支持向量机.神经网络算法)监督学习之回归(线性回归.非线性回归)非监督学习(K-means聚…

本笔记为Coursera在线课程<Machine Learning>中的单变量线性回归章节的笔记. 2.1 模型表示 参考视频: 2 - 1 - Model Representation (8 min).mkv 本课程讲解的第一个算法为"回归算法",本节将要讲解到底什么是Model.下面,以一个房屋交易问题为例开始讲解,如下图所示(从中可以看到监督学习的基本流程). 所使用的数据集为俄勒冈州波特兰市的住房价格,根据数据集中的不同房屋尺寸所对应的出售价格,绘制出了数据集:假如…

    最近开始看斯坦福的公开课<Machine Learning>,对其中单参数的Linear Regression(未涉及Gradient Descent)做个总结吧. [设想]     最近想要租房,收集了一些信息,得知房价与房间大小有关,那成本函数就可以预测在不同房间大小下租房的价格(PS:价格可能也与该房地理有关,那若把大小和距离市中心距离一并考虑,则属于多参数的线性回归) [数据]     1.准备一个ex1data1.txt,第一列为年龄,第二列为价格     2.导入matla…

了解LR的同学们都知道,LR采用了最小化交叉熵或者最大化似然估计函数来作为Cost Function,那有个很有意思的问题来了,为什么我们不用更加简单熟悉的最小化平方误差函数(MSE)呢? 我个人理解主要有三个原因: MSE的假设是高斯分布,交叉熵的假设是伯努利分布,而逻辑回归采用的就是伯努利分布: MSE会导致代价函数$J(\theta)$非凸,这会存在很多局部最优解,而我们更想要代价函数是凸函数: MSE相对于交叉熵而言会加重梯度弥散. 这里着重讨论下后边两条原因. 代价函数为什么要为凸函数…

整理自Andrew Ng的machine learning课程 week2. 目录: 多元线性回归 Multivariates linear regression /MLR Gradient descent for MLR Feature Scaling and Mean Normalization Ensure gradient descent work correctly Features and polynomial regression Normal Equation Vectoriza…