觉得有用的话,欢迎一起讨论相互学习~Follow Me

2.1 二分分类

在二分分类问题中,目标是训练出一个分类器,它以图片的特征向量x作为输入,预测输出的结果标签y是1还是0.在图像识别猫图片的例子中也就是预测图片中是否有猫.

2.2 logistic回归

已知的输入的特征向量x,可能是一张图,你需要将其识别出这是不是一张猫图,你需要一个算法,给出一个预测值,这里我们将预测值表示为\(\hat{y}\).就是你对y的预测,正

式的说你希望y是一个预测的概率值.当输入特征x满足条件时,y就是1.你希望\(\hat{y}\)告诉你这是一张猫图的概率.如果我们使用线性方程的计算表示,这里的图片是一个n维的向量,我们设置里的w也是一个n维的向量,则此时的方程是\(\hat{y}=W^{T}.x+b\)但是通过这样计算得出的值表示y是一个有可能是一个比1大的数,有可能是负数的值,而我们需要计算的概率应该是在0~1之间的范围内.所以我们单纯的计算这样的\(\hat{y}\)是没有意义的,所以在logistic regression中我们将sigmoid函数作用到这个量上.

sigmoid函数

数据保存格式

  1. 图片保存格式

  2. 数据保存格式

2.3 logistic回归损失函数

loss function

loss function 损失函数,可以用来衡量算法的运行情况,你可以定loss function为\(\hat{y}\)和y的差的平方,或者是差的平方的1/2.结果表明你可以这样做,但是通常在logistic 回归中,大家都不这样做,因为使用这个loss function 在做优化问题时,优化函数会变成非凸的最后会得到很多个局部最优解.梯度下降法可能找不到全局最优解.直观的解释是我们通过loss function 来衡量你的预测输出值\(\hat{y}\)和y的实际值有多接近.

所以为了解决这个问题,在使用优化器进行优化的时候使其成为一个凸的函数,我们在这里使用交叉熵数\(-((y^{(i)}*log(\hat{y}^{(i)})+(1-y^{(i)})*log(1-\hat{y}^{(i)}))\)

cost function

loss function(损失函数)只适用于单个训练样本,但是cost function(成本函数)则是基于整体训练集.所以在训练logistic regression的模型时,我们要找到合适的参数W和b使cost function计算得到的值尽可能小.

\(-\frac{1}{m}\sum_{i=1}^m((y^{(i)}*log(\hat{y}^{(i)})+(1-y^{(i)})*log(1-\hat{y}^{(i)}))\)

2.4 梯度下降法



在此图中横轴表示参数w和b,在实践中w可以是更高维度的数据,此处为了绘制图片,我们将其设置为一个实数,b也是一个实数,成本函数J(W,b)是在水平轴w和b上的曲面,曲面的高度表示J(W,b)在某一点的值,我们想要做的就是找到这样的W和b使其对应的成本函数J值是最小值.我们这里使用的cost function是交叉熵函数是一个凸函数,这是logistic回归使用这个特定成本函数J的重要原因之一.

[DeeplearningAI笔记]神经网络与深度学习2.1-2.4神经网络基础的更多相关文章

  1. Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 4. 深层神经网络)

     =================第2周 神经网络基础=============== ===4.1  深层神经网络=== Although for any given problem it migh ...

  2. 对比《动手学深度学习》 PDF代码+《神经网络与深度学习 》PDF

    随着AlphaGo与李世石大战的落幕,人工智能成为话题焦点.AlphaGo背后的工作原理"深度学习"也跳入大众的视野.什么是深度学习,什么是神经网络,为何一段程序在精密的围棋大赛中 ...

  3. [DeeplearningAI笔记]神经网络与深度学习人工智能行业大师访谈

    觉得有用的话,欢迎一起讨论相互学习~Follow Me 吴恩达采访Geoffrey Hinton NG:前几十年,你就已经发明了这么多神经网络和深度学习相关的概念,我其实很好奇,在这么多你发明的东西中 ...

  4. Deeplearning.ai课程笔记-神经网络和深度学习

    神经网络和深度学习这一块内容与机器学习课程里Week4+5内容差不多. 这篇笔记记录了Week4+5中没有的内容. 参考笔记:深度学习笔记 神经网络和深度学习 结构化数据:如数据库里的数据 非结构化数 ...

  5. MXNet设计笔记之:深度学习的编程模式比较

    市面上流行着各式各样的深度学习库,它们风格各异.那么这些函数库的风格在系统优化和用户体验方面又有哪些优势和缺陷呢?本文旨在于比较它们在编程模式方面的差异,讨论这些模式的基本优劣势,以及我们从中可以学到 ...

  6. 深度学习与CV教程(4) | 神经网络与反向传播

    作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/37 本文地址:http://www.showmeai.tech/article-det ...

  7. 深度学习与CV教程(6) | 神经网络训练技巧 (上)

    作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/37 本文地址:http://www.showmeai.tech/article-det ...

  8. (转)神经网络和深度学习简史(第一部分):从感知机到BP算法

    深度|神经网络和深度学习简史(第一部分):从感知机到BP算法 2016-01-23 机器之心 来自Andrey Kurenkov 作者:Andrey Kurenkov 机器之心编译出品 参与:chen ...

  9. 【吴恩达课后测验】Course 1 - 神经网络和深度学习 - 第二周测验【中英】

    [中英][吴恩达课后测验]Course 1 - 神经网络和深度学习 - 第二周测验 第2周测验 - 神经网络基础 神经元节点计算什么? [ ]神经元节点先计算激活函数,再计算线性函数(z = Wx + ...

  10. 【吴恩达课后测验】Course 1 - 神经网络和深度学习 - 第一周测验【中英】

    [吴恩达课后测验]Course 1 - 神经网络和深度学习 - 第一周测验[中英] 第一周测验 - 深度学习简介 和“AI是新电力”相类似的说法是什么? [  ]AI为我们的家庭和办公室的个人设备供电 ...

随机推荐

  1. Django之cookie验证

    先不用太多的蚊子描述什么是cookie,先做一个小实验: 此时我们在谷歌浏览器(一个客户端)和IE浏览器(另一个用户)测试: 刺客我们发现在两台浏览器都可以访问,而且不用进入login验证就可以登录, ...

  2. 原生ajax jq跨域

    原生js封装ajax //创建XmlhttpRequest对象 function createXHR(){     var xhr=null;     if(XMLHttpRequest){      ...

  3. CSS3使用content属性来插入项目编号

    首先可以使用before选择器与after选择器的content属性在元素的前面或者后面插入文字和图像,这里我记录的是利用这个content属性来在项目前插入项目编号,同时可以利用content属性在 ...

  4. HDU 2546 饭卡(01背包裸题)

    饭卡 Time Limit: 5000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submiss ...

  5. 《SpringMVC从入门到放肆》四、SpringMVC配置式开发(处理器映射器)

    上一篇我们讲解了DispatcherServlet的url-pattern配置详解,今天我们来真正对SpringMVC进行配置式开发.所谓配置式开发是指“处理器类是程序员自己定义的.实现了特定接口的类 ...

  6. python面向对象进阶

    前言 上节大话python面向对象对面向对象有了一些了解,这次就不用大话风格了 (ps:真心不好扯啊) isinstance与issubclass isinstance(obj,cls)检查是否obj ...

  7. Effective Java 第三版——24. 优先考虑静态成员类

    Tips <Effective Java, Third Edition>一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将 ...

  8. jquery dataTimePicker日历插件(精确到小时)

    效果图:      下载地址:https://github.com/WangChangyao/jquery-dataTimePicker.git <!DOCTYPE html> <h ...

  9. js判断是否为ie浏览器

    之前在开发时遇到浏览器的兼容性问题,涉及到对ie浏览器的判断.现在此做个笔记. 这里我以函数的形式来判断,在用的时候直接调用即可. var isIE = !!window.ActiveXObject ...

  10. vim&vi在编辑的时候突然卡死,不接收输入问题的解决

    多方查找无果,看了官方解释如下: "CTRL-S and CTRL-Q are called flow-control characters. They represent an antiq ...