Coursera-吴恩达机器学习课程笔记-Week4+5
Neural networks
non-linear hypotheses 非线性假设
Neural model:logistic unit
第一层 Input layer
最后一层 Outer layer
其他层 Hidden layer
对于非线性模型问题,神经网络就是logistic回归的复杂模型。
前向传播
比较logistic和neural network
之前的logistic回归:有x个特征,真正需要的特征可能是y个(y>>x)
比如:预测房价,特征有房子长度和宽度(x=2),而真正需要的特征可能是长度、宽度、面积(长度*宽度)。y=3
logistic回归的重点是找到更多可能有用的多项式特征,来循环一个sigma函数。它更注重长度
Neural networks:只将x个特征作为输入层,不在乎多项式特征。
神经网络是n*m个sigma函数的组合,用少量的特征进行层层运算得到更复杂的特征。它更注重深度、宽度。
neural network分类
二元分类和多分类问题
neural network的cost function
这个看起来复杂很多的代价函数背后的思想还是一样的,我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大。
反向传播
back propagation: 求导数值
前向传播是特征值的“加权和+sigma函数”从左到右传播
反向传播是“偏导数加权和”从右向左传播
梯度检验
gradient checking:检验反向传播时求的导数值是否正确。但是因为计算一次导数梯度检验运行时间比反向传播长很多,所以一旦确定了反向传播没有计算错时,记得禁掉梯度检验的代码。
随机初始化
random initialization:初始化神经网络里的初始参数(权重)
neural network全过程回顾
- Pick network architecture
Input layer:单元数目由特征个数决定
Output layer:单元数目由分多少类决定
Hidden layer:层数一般1层(也可以2、3层),单元数目一般和Input layer数目相等或是x倍(x=1、2、3)
2.1 初始化权重(接近于0)
2.2 前向传播求预测值
2.3 计算cost function
2.4 反向传播求偏导数
2.5 梯度检验验证反向传播求的偏导数
2.6 用梯度下降或其他高级优化方法minimize代价函数
Coursera-吴恩达机器学习课程笔记-Week4+5的更多相关文章
- ML:吴恩达 机器学习 课程笔记(Week1~2)
吴恩达(Andrew Ng)机器学习课程:课程主页 由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Reg ...
- Coursera 吴恩达 机器学习 学习笔记
Week 1 机器学习笔记(一)基本概念与单变量线性回归 Week 2 机器学习笔记(二)多元线性回归 机器学习作业(一)线性回归——Matlab实现 机器学习作业(一)线性回归——Python( ...
- ML:吴恩达 机器学习 课程笔记(Week7~8)
Support Vector Machines Unsupervised Learning Dimensionality Reduction
- ML:吴恩达 机器学习 课程笔记(Week5~6)
Neural Networks: Learning Advice for Applying Machine Learning Machine Learning System Design
- ML:吴恩达 机器学习 课程笔记(Week9~10)
Anomaly Detection Recommender Systems Large Scale Machine Learning
- ML:吴恩达 机器学习 课程笔记(Week3~4)
Logistic Regression Regularization Neural Networks: Representation
- Coursera-吴恩达机器学习课程笔记-Week2
参考资料: 吴恩达教授机器学习课程 机器学习课程中文笔记 Week2 一. 多变量线性回归(Linear Regression with Multiple Variables) 多变量就时当一个exa ...
- Coursera-吴恩达机器学习课程笔记-Week1
参考资料: 吴恩达教授机器学习课程 机器学习课程中文笔记 Week 1 一. 引言 机器学习模型可分为监督学习Superviese learning(每个数据集给出了正确的值)和无监督学习Unsupe ...
- Machine Learning|Andrew Ng|Coursera 吴恩达机器学习笔记
Week1: Machine Learning: A computer program is said to learn from experience E with respect to some ...
随机推荐
- elasticSearch 起步(CentOS7 success)
安装和启动 这里使用docker进行安装的 docker pull elasticsearch 然后使用 docker run -e ES_JAVA_OPTS="-Xms256m -Xmx2 ...
- 使用 ENUMMAP 替代序数索引
import java.util.Arrays; import java.util.EnumMap; import java.util.HashSet; import java.util.Map; i ...
- 微信环境中如何实现跳转到手机默认外部浏览器下载apk文件
由于微信的限制,应用文件在内置浏览器中下载全部被屏蔽掉,造成很多人用微信扫描二维码下载时点击下载按钮没反应,我想到的是做一个提示用户在浏览器中打开下载.其实原来很简单,就是判断当前是在微信内置浏览器中 ...
- Docker on startup: “No activity detected on VM, aborting”
windows下安装的docker,切换到linux,一直处于重启中,最后报No activity detected on VM, aborting错误 上网百度一下这个错误,基本上没人遇到过,最后在 ...
- 在java中使用FFmpeg处理视频与音频
FFmpeg是一个非常好用的视频处理工具,下面讲讲如何在java中使用该工具类. 一.首先,让我们来认识一下FFmpeg在Dos界面的常见操作 1.拷贝视频,并指定新的视频的名字以及格式 ffmpeg ...
- SSM项目 以及 springboot 中引入swagger2的方法
swagger2是一个非常好用的接口文档,在开发的过程中方便前后端接口的交接. 下面我们就来讲讲在使用java时,分别在SSM框架,以及springboot+mybatis框架中引入swagger2的 ...
- win10图标变白的解决办法(亲测有用)
1.首先,随便打开一个文件夹点击[查看]菜单,然后勾选[隐藏的项目]: 2.同时按下快捷键[Win]+[R],在打开的[运行]窗口中输入%localappdata%: 3.在打开的文件夹中,找到[Ic ...
- Atcoder Beginner Contest151E(排列组合)
排列组合 #define HAVE_STRUCT_TIMESPEC #include<bits/stdc++.h> using namespace std; ]; ; ]; long lo ...
- Python类属性和类方法
01. 类的结构 1.1 术语 —— 实例 使用面相对象开发,第 1 步 是设计 类 使用 类名() 创建对象,创建对象 的动作有两步: 1) 在内存中为对象 分配空间 2) 调用初始化方法 __in ...
- toString()和toLocaleString()方法有什么区别和联系
toString()和toLocaleString()有什么区别 偶然之间用到这两个方法 然后在数字转换成字符串的时候,并没有感觉这两个方法有什么区别,如下: 1 2 3 4 5 6 7 8 var ...