Set_ML
参考资料:斯坦福(http://cs231n.github.io/linear-classify/;http://cs231n.stanford.edu/slides/2017/)
Mastering Machine Learning With scikit-learn
假设函数(Hypothesis Function)模型的知识表达:
然后利用已知的数据对其中的参数进行求解,再将该函数用于新数据的预测,其中参数的求解过程称为“训练(Training) or 学习(Learning)”
待优化参数 θ0,θ1
损失函数(loss function),或叫代价函数(cost function)
损失函数越小,就代表模型拟合的越好。
损失函数最小目标转换为经验风险最小化
由于我们输入输出的 遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集,
关于训练集的平均损失称作经验风险(empirical risk),即
,所以我们的目标就是最小化
,称为经验风险最小化。
结构风险
为了平衡经验风险最小化目标与模型的复杂性(模型对数据的记性)引入结构风险,常用方法L1和L2范数。
目标函数
最终的优化函数是: ,即最优化经验风险和结构风险,而这个函数就被称为目标函数。
线性可分
线性回归与分类
变换后:
线性回归
LinearRegression 回归
- 模型—线性最小二乘法(linear least squares)
- 函数表示—f(xi,W,b)=Wxi+b
- 损失函数—残差平方和(residual sum of squares)损失函数
多元
多项式回归
线性分类
二分类
Logistic 分类器
- 模型—Bernoulli(伯努利) 分布
- 函数表示—logistic函数(sigmoid函数)
多类
SVM
- 损失函数—折叶损失(hinge loss)
softmax
损失函数 —交叉熵损失(cross-entropy loss)
SVM vs. Softmax
线性不可分
SVM
ANN
Set_ML的更多相关文章
随机推荐
- 基于Python的安卓图形锁破解程序
安卓手机的图形锁是3x3的点阵,按次序连接数个点从而达到锁定/解锁的功能.最少需要连接4个点,最多能连接9个点.网上也有暴力删除手机图形锁的方法,即直接干掉图形锁功能.但假如你想进入别人的手机,但又不 ...
- Nginx 经验小结
chmod 777 永远不要 使用 777,有时候可以懒惰的解决权限问题, 但是它同样也表示你没有线索去解决权限问题,你只是在碰运气. 你应该检查整个路径的权限,并思考发生了什么事情. 把 root ...
- 转载 -- 基于原生JS与OC方法互相调用并传值(附HTML代码)
最近项目里面有有个商品活动界面,要与web端传值,将用户在网页点击的商品id 传给客户端,也就是js交互,其实再说明白一点就是方法的互相调用而已. 本文叙述下如何进行原生的JavaScript交互 本 ...
- linux 读取文件信息并且输出
版权为个人所有,欢迎转载如转载请说明出处.(东北大亨) http://www.cnblogs.com/northeastTycoon/p/5513231.html 以下为读取文件信息做输出操作. 1. ...
- Mac 常用属性
如果需要让隐藏的文件可见. 具体做法就是打开一个Terminal终端窗口,输入以下命令: 对于OS X Mavericks 10.9: defaults write com.apple.finder ...
- TP框架部分---空控制器
<?php namespace Admin\Controller; use Think\Controller; class DengLuController extends Controller ...
- c++ get the pointer from the reference
int x = 5; int& y = x; int* xp = &x; int* yp = &y; xp is equal to yp. 也就是说,直接对reference取 ...
- 【题解】Counting D-sets(容斥+欧拉定理)
[题解]Counting D-sets(容斥+欧拉定理) 没时间写先咕咕咕. vjCodeChef - CNTDSETS 就是容斥,只是难了一二三四五\(\dots \inf\)点 题目大意: 给定你 ...
- 我的Android进阶之旅------>解决Your project contains error(s),please fix them
在使用eclipse写好Android的代码,代码没有报错.然后想在AVD中运行测试时,弹出错误框,提示信息为: "Your project contains error(s),pleas ...
- sourceSet
android { sourceSets { main{ manifest.srcFile 'AndroidManifest.xml' java.srcDirs = ['src'] resources ...