Neural networks

non-linear hypotheses 非线性假设

Neural model:logistic unit

第一层 Input layer

最后一层 Outer layer

其他层 Hidden layer

对于非线性模型问题,神经网络就是logistic回归的复杂模型。

前向传播

比较logistic和neural network

之前的logistic回归:有x个特征,真正需要的特征可能是y个(y>>x)
比如:预测房价,特征有房子长度和宽度(x=2),而真正需要的特征可能是长度、宽度、面积(长度*宽度)。y=3

logistic回归的重点是找到更多可能有用的多项式特征,来循环一个sigma函数。它更注重长度

Neural networks:只将x个特征作为输入层,不在乎多项式特征。

神经网络是n*m个sigma函数的组合,用少量的特征进行层层运算得到更复杂的特征。它更注重深度、宽度。

neural network分类

二元分类和多分类问题

neural network的cost function

这个看起来复杂很多的代价函数背后的思想还是一样的,我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大。

反向传播

back propagation: 求导数值

前向传播是特征值的“加权和+sigma函数”从左到右传播

反向传播是“偏导数加权和”从右向左传播

梯度检验

gradient checking:检验反向传播时求的导数值是否正确。但是因为计算一次导数梯度检验运行时间比反向传播长很多,所以一旦确定了反向传播没有计算错时,记得禁掉梯度检验的代码。

随机初始化

random initialization:初始化神经网络里的初始参数(权重)

neural network全过程回顾

  1. Pick network architecture
    Input layer:单元数目由特征个数决定
    Output layer:单元数目由分多少类决定
    Hidden layer:层数一般1层(也可以2、3层),单元数目一般和Input layer数目相等或是x倍(x=1、2、3)

2.1 初始化权重(接近于0)

2.2 前向传播求预测值

2.3 计算cost function

2.4 反向传播求偏导数

2.5 梯度检验验证反向传播求的偏导数

2.6 用梯度下降或其他高级优化方法minimize代价函数

Coursera-吴恩达机器学习课程笔记-Week4+5的更多相关文章

  1. ML:吴恩达 机器学习 课程笔记(Week1~2)

    吴恩达(Andrew Ng)机器学习课程:课程主页 由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Reg ...

  2. Coursera 吴恩达 机器学习 学习笔记

    Week 1 机器学习笔记(一)基本概念与单变量线性回归 Week 2   机器学习笔记(二)多元线性回归 机器学习作业(一)线性回归——Matlab实现 机器学习作业(一)线性回归——Python( ...

  3. ML:吴恩达 机器学习 课程笔记(Week7~8)

    Support Vector Machines Unsupervised Learning Dimensionality Reduction

  4. ML:吴恩达 机器学习 课程笔记(Week5~6)

    Neural Networks: Learning Advice for Applying Machine Learning Machine Learning System Design

  5. ML:吴恩达 机器学习 课程笔记(Week9~10)

    Anomaly Detection Recommender Systems Large Scale Machine Learning

  6. ML:吴恩达 机器学习 课程笔记(Week3~4)

    Logistic Regression Regularization Neural Networks: Representation

  7. Coursera-吴恩达机器学习课程笔记-Week2

    参考资料: 吴恩达教授机器学习课程 机器学习课程中文笔记 Week2 一. 多变量线性回归(Linear Regression with Multiple Variables) 多变量就时当一个exa ...

  8. Coursera-吴恩达机器学习课程笔记-Week1

    参考资料: 吴恩达教授机器学习课程 机器学习课程中文笔记 Week 1 一. 引言 机器学习模型可分为监督学习Superviese learning(每个数据集给出了正确的值)和无监督学习Unsupe ...

  9. Machine Learning|Andrew Ng|Coursera 吴恩达机器学习笔记

    Week1: Machine Learning: A computer program is said to learn from experience E with respect to some ...

随机推荐

  1. ASP.NET + MVC5 入门完整教程三 (上) ---第一个MVC项目

    https://blog.csdn.net/qq_21419015/article/details/80420815 第一个MVC应用程序 1创建MVC项目 打开VS ,File--新建--项目,选择 ...

  2. HTML的媒体元素(视频+音频)

    网页的媒体元素 包括 视频 音频 首先创建一个文件夹,放视频和音频         播放(非自动播放+自动播放) 视频播放 1.1. 打开网页不自动播放 <video src="../ ...

  3. django 模型增加字段后迁移失败

    任      务:已有models.py文件中定义了 ad类(用来描述广告数据库表结构).现在想增加四个新字段:ad_show_type,big_video_url,is_full_screen,vi ...

  4. webpack4.41.0配置二(加载器_url-loader/babel-loader/sass-loader)

    loader是webpack用来预处理源文件的,比如typesrcipt形式的文件最终都得转成浏览器可以执行的js文件 (注:以下的配置代码不一定与下方一摸一样,具体与官网上https://webpa ...

  5. Linux gd库安装步骤说明

    gd 库是 PHP 处理图形的扩展库,它提供了一系列用来处理图片的 API(应用程序编程接口),使用 gd 库可以处理图片或者生成图片.在网站上,gd 库通常用来生成缩略图,或者对图片加水印,或者生成 ...

  6. css动画 自动打字,让你的文字飞舞起来

    自动打字的效果 非一般的炫酷 <!DOCTYPE html> <html lang="en"> <head> <meta charset= ...

  7. C语言随笔4:指针数组、数组指针

    数组: 1:数组名为地址,表达方法: Int A[10]; A;//数组名表示首地址 &A;//数组名加取地址符,仍然表示首地址 &A[0];//第0个元素的地址,即首地址 数组名是指 ...

  8. C9300升级-USB

    1.show ver查看设备的版本 2.一些版本信息的参考 3.准备USB查看其具备的镜像命令:dir usbflash0: 4.复制镜像到设备命令:copy usbflash0:cat9k_iosx ...

  9. python在线测试代码及教程

    python/Java在线测试代码:http://www.pythontutor.com/visualize.html#mode=edit廖雪峰Python教学:https://www.liaoxue ...

  10. C#委托和事件的区别

    “委托是具有相同签名的函数(方法)的类型,事件是委托的应用方式之一” ---来自评论区老司机 delegate 是为了在C#中把函数作为对象传来传去而实现的一个“函数包装”.由于在C#中函数是二等公民 ...