线性回归,多项式回归(P2)
回归问题
回归问题包含有线性回归和多项式回归
简单来说,线性回归就是用多元一次方程拟合数据,多项式回归是用多元多次来拟合方程
在几何意义上看,线性回归拟合出的是直线,平面。多项式拟合出来的是曲线,曲面。
二,线性回归问题
2.1 线性回归
线性回归问题,是监督学习,输出是连续值。(批梯度下降训练参数+平方误差函数做代价函数)
线性问题的求解另一种方法:正规方程。正规方程把参数看成一个整体进行求导。用矩阵一些性质进行简化结果
正规方程:
思路:用矩阵来表示代价函数,求导数为0的时候参数的值,(最后利用矩阵求导结论,求出参数矩阵。)
- 用矩阵表示代价函数:,
- 对代价函数求导化简得到正规方程
- 求出Θ。
推到过程:
https://blog.csdn.net/melon__/article/details/80589759
https://blog.csdn.net/jshazhang/article/details/78373218
注意:表达式写成矩阵的形式要注意把符号都表示成列向量,还要区分哪些是向量哪些是矩阵,向量和向量的乘积可以互换位置,但是向量和矩阵不行。
注意矩阵相乘写成表达式的样子是,但是这是一个样本的矩阵表达,m个样本矩阵的表达形式要写成ΘTX,就要用列向量表示样本向量。即:
,其中,写成ΘTX-Y 的形式,或者写成XΘ-Y的形式,这两个表达式里面的X都是样本矩阵,但是是样本矩阵的两种形式,也就是两个X矩阵不一样,前者的X矩阵列向量是一个样本,后者的行向量是一个样本。
2.2 算法需要注意的地方
数据的归一化(特征缩放):为了保证算法下降得更快。
不管是上神经网络课还是数据挖掘课,老师反复强调了特征的缩放(归一化问题),如果不进行特征的缩放,算法可能就会表现很差,甚至不收敛。特征的缩放方法:Min-Max Scaling和Z-score normalization,
学习率的选取:
通常可以考虑尝试些学习率:0.01,0.03,0.1,0.3,1,3,10
三,多项式回归
对于多项式问题:(多元多次模型)
例如:
线性回归,多项式回归(P2)的更多相关文章
- 【udacity】机器学习-回归
Evernote Export 1.什么是回归? regression 在监督学习中,包括了输入和输出的样本,在此基础上,我们能够通过新的输入来表示结果,映射到输出 输出包含了离散输出和连续输出 2. ...
- Machine Learning--week2 多元线性回归、梯度下降改进、特征缩放、均值归一化、多项式回归、正规方程与设计矩阵
对于multiple features 的问题(设有n个feature),hypothesis 应该改写成 \[ \mathit{h} _{\theta}(x) = \theta_{0} + \the ...
- 线性回归 Linear Regression
成本函数(cost function)也叫损失函数(loss function),用来定义模型与观测值的误差.模型预测的价格与训练集数据的差异称为残差(residuals)或训练误差(test err ...
- R语言多项式回归
含有x和y这两个变量的线性回归是所有回归分析中最常见的一种:而且,在描述它们关系的时候,也是最有效.最容易假设的一种模型.然而,有些时候,它的实际情况下某些潜在的关系是非常复杂的,不是二元分析所能解决 ...
- stanford coursera 机器学习编程作业 exercise 5(正则化线性回归及偏差和方差)
本文根据水库中蓄水标线(water level) 使用正则化的线性回归模型预 水流量(water flowing out of dam),然后 debug 学习算法 以及 讨论偏差和方差对 该线性回归 ...
- 斯坦福第四课:多变量线性回归(Linear Regression with Multiple Variables)
4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践 1-特征缩放 4.4 梯度下降法实践 2-学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性 ...
- Stanford机器学习笔记-1.线性回归
Content: 1. Linear Regression 1.1 Linear Regression with one variable 1.1.1 Gradient descent algorit ...
- 机器学习之多变量线性回归(Linear Regression with multiple variables)
1. Multiple features(多维特征) 在机器学习之单变量线性回归(Linear Regression with One Variable)我们提到过的线性回归中,我们只有一个单一特征量 ...
- (一)线性回归与特征归一化(feature scaling)
线性回归是一种回归分析技术,回归分析本质上就是一个函数估计的问题(函数估计包括参数估计和非参数估计),就是找出因变量和自变量之间的因果关系.回归分析的因变量是应该是连续变量,若因变量为离散变量,则问题 ...
随机推荐
- 【Linux 网络编程】TCP网络编程中connect()、listen()和accept()三者之间的关系
基于 TCP 的网络编程开发分为服务器端和客户端两部分,常见的核心步骤和流程如下: connect()函数:对于客户端的 connect() 函数,该函数的功能为客户端主动连接服务器,建立连接是通过三 ...
- mysql定时删除6个月前的表
查看定时是否开启: 查看event是否开启 : SHOW VARIABLES LIKE '%event_sche%'; 将事件计划开启 : ; 将事件计划关闭 : ; 代码: BEGIN -- 保存表 ...
- maven 转化gradle
- WEB框架之Ajax
一 Ajax简介 1 Ajax的介绍 AJAX翻译成中文就是"异步Javascript和XML".即使用JavaScript语言与服务器进行异步交互,传输的数据为XML(当然,传输 ...
- Python 字符串(center)
center 描述 Python center() 返回一个原字符串居中,并使用空格填充至长度 width 的新字符串.默认填充字符为空格. 语法 center()方法语法: str.center(w ...
- 可迭代对象(Iterable)和迭代器(Iterator)
迭代是访问集合元素的一种方式. 迭代器是一个可以记住遍历的位置的对象. 迭代器对象从集合的第一 个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 1. 可迭代对象 以直接作用于 ...
- mysql 5.17 的update失败问题
在使用workbench的时候,写入update语句,会很提现失败,原因是安全模式; 可能是workbench在数据库更新的时候是有限制的,防止错误哦l 更改方法也很简单; Edit - Profer ...
- UVA 11324.The Largest Clique tarjan缩点+拓扑dp
题目链接:https://vjudge.net/problem/UVA-11324 题意:求一个有向图中结点数最大的结点集,使得该结点集中任意两个结点u和v满足:要目u可以到达v,要么v可以到达u(相 ...
- linux学习第一天 (Linux就该这么学) 找到一本不错的Linux电子书,附《Linux就该这么学》章节目录
本书是由全国多名红帽架构师(RHCA)基于最新Linux系统共同编写的高质量Linux技术自学教程,极其适合用于Linux技术入门教程或讲课辅助教材,目前是国内最值得去读的Linux教材,也是最有价值 ...
- Ubuntu 配置双网卡的问题
一台双网卡电脑拥有两个网关是不可能的,因为默认网关(default gateway)只能是一个.给Ubuntu Linux服务器安装两块网卡,分别设置不同的ip和网关(内网和外网),外网的通过外网网卡 ...