发现自己不写总结真是件很恶劣的事情,好多学的东西没有自己总结都忘记了.所以决定从今天开始,学东西的时候一定跟上总结. 我写的东西大多数是自己通俗的总结,不太喜欢写严格的定义或者证明,写了也记不住,欢迎指正. 1. High Bias vs. High Variance High Bias:通常是因为模型过于简单,使得不能成功拟合数据.比如说一些有二次曲线特性的数据,如果用一次直线去拟合就会出现这个问题,所以它对应了Underfitting问题.另外,从泛化角度来说,这样的模型泛化程度更高. Hi

1 神经网络的提出 线性回归和逻辑回归能很好的解决特征变量较少的问题,但对于变量数量增加的复杂非线性问题,单纯增加二次项和三次项等特征项的方法计算代价太高. 2 神经网络算法 2.1 神经元 模拟神经元的模型: 模型的参数即模型的去权重. 2.2 神经网络 如图是一个三层神经网络模型,第一层为输入层,第二层为隐藏层,第三层为输出层.每条边上有一个权值θ. ai(j):第j层单元i的“激励” θ(j):第j层到第j+1层单元的权值矩阵. 若第j层单元数为sj,第j+1层单元数为sj+1,则θ(j)

1 逻辑回归 1. classification 分类 eg:垃圾邮件分类.交易是否是欺诈.肿瘤类别.分类的结果是离散值. 2. sigmoid函数 使用线性方法来判断分类问题,会出现上图中的问题,需要人工判断分界点.有些特殊的样本点,也会使得分界点发生漂移,影响准确性.我们希望我们的分类器输出范围在0~1之间,此时分类问题转化为边界问题.sigmoid函数能保证数据在0~1之间,并且越趋近于无穷大,输出趋近于1. 假设函数预测的是对于输入x,输出为1的概率. 3. cost function

1 多元线性回归 1.1 假设函数 多元线性回归是指有多个特征特征变量的情况.此时我们修改假设函数hθ(x)=θ0+θ1∗x为hθ(x)=θ0+θ1x1+θ2x2+⋯+θnxn.设x0=1,x为特征向量,θ为参数向量,则hθ(x)=θTx. 1.2 cost function与梯度下降 cost函数依然选择平方误差函数梯度下降方法也没有变: 1.3 特征约简 当变量的范围差别很大时,梯度下降法就会收敛的很慢,此时我们使输入的变量大致属于相同的范围来加速梯度下降.两种方法:特征缩放.均值归一化(x

1 Introduction 1.1 概念:一个程序被认为能从经验E中学习,解决任务 T,达到性能度量值P,当且仅当, 有了经验E后,经过P评判, 程序在处理 T 时的性能有所提升. 1.2 机器学习分类:监督学习 supervised learning : 回归(regression).分类(classification)非监督学习 unsupervised learning : 聚类(clustering).非聚类(non-clustering) 2 Linear Regression(一个

上一篇  ※※※※※※※※  [回到目录]  ※※※※※※※※  下一篇 这一章的内容比较简单,主要是MATLAB的一些基础教程,如果之前没有学过matlab建议直接找一本相关书籍,边做边学,matlab的编程入门还是比较容易的. 在这里想讲一下matlab和Python的区别: 吴恩达教授在刚开始教机器学习课程的时候,主要用的是matlab/octave,他给出的理由是利用matlab/octave学生能够更快更好地学习并掌握机器学习算法.这只是当时的情况,在后期吴恩达教授深度学习课程的教学中

说明 该文为笔者在微信公众号:吴恩达deeplearningai 所推送<机器学习训练秘籍>系列文章的学习笔记,公众号二维码如下,1到15课课程链接点这里 该系列文章主要是吴恩达先生在机器学习方面的经验分享和基础教程,每一章十分短小,旨在让我们能在碎片化的时间中一点点熟悉机器学习的相关知识. 想看该系列文章英文版最新章节的同学请点击这里进行邮件订阅 第1至15章 1.2.3.决策方案很重要 -方案示例: 1.获取更多的数据,即收集更多猫的图片 2.收集更加多样化的训练数据集,比如处于不常见位置

之前经学长推荐,开始在B站上看Andrew Ng的机器学习课程.其实已经看了1/3了吧,今天把学习笔记补上吧. 吴恩达老师的Machine learning课程共有113节(B站上的版本https://www.bilibili.com/video/av9912938).这篇学习笔记是结合第一.二部分(我所理解的): 第一部分:概览机器学习,介绍其中的一些专业名词及定义.Section 1-26 第二部分:如何使用Octave实现机器学习中的基本算法(Ocatave就是开源版的Matlab).Se

强烈安利吴恩达老师的<Machine Learning>课程,讲得非常好懂,基本上算是无基础就可以学习的课程. 课程地址 强烈建议在线学习,而不是把视频下载下来看.视频中间可能会有一些问题让你回答,这种互动的方式挺好的. 然后由于我个人的笔记是做在Onenote的笔记本里的,公式输入方法和markdown还是蛮不一样的,就不把自己的笔记放在博客里了.(而且感觉自己在瞎做) 最后强烈安利另外一位朋友的笔记.有word版,markdown版,pdf版,html版等等,业界良心!

吴恩达(Andrew Ng)机器学习课程:课程主页 由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Regression with One Variable Linear Algebra Review Linear Regression with Multiple Variables Octave/Matlab Tutorial

吴恩达深度学习课程的课堂笔记以及课后作业 代码下载:https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记:https://mp.weixin.qq.com/s/cX9_DiqofPhdXrY_0oTEAw 课程1 - 神经网络和深度学习 周数 名称 类型 地址 week1 深度学习简介 测验 略 week2 神经网络基础 笔记 逻辑回归 逻辑回归推导 具有神经网络思维的Logistic回归 编程作业 识别猫 week3 浅层神经网络

前言 目录: RNN提出的背景 - 一个问题 - 为什么不用标准神经网络 - RNN模型怎么解决这个问题 - RNN模型适用的数据特征 - RNN几种类型 RNN模型结构 - RNN block - 简化符号表示 - stacked RNN - 双向RNN - 梯度消失爆炸问题 GRU模型结构 LSTM模型结构 - LSTM背后的关键思想 - Step by Step理解LSTM 本文可以解答: RNN用来解决什么问题,什么样的数据特征适合用它来解决 ​RNN的缺陷是什么,LSTM,GRU是如何

本篇文章被Google中国社区组织人转发,评价: 条理清晰,写的很详细! 被阿里算法工程师点在看! 所以很值得一看! 前言 目录: RNN提出的背景 - 一个问题 - 为什么不用标准神经网络 - RNN模型怎么解决这个问题 - RNN模型适用的数据特征 - RNN几种类型 RNN模型结构 - RNN block - 简化符号表示 - stacked RNN - 双向RNN - 梯度消失爆炸问题 GRU模型结构 LSTM模型结构 - LSTM背后的关键思想 - Step by Step理解LSTM

学习了吴恩达老师深度学习工程师第一门课,受益匪浅,尤其是吴老师所用的符号系统,准确且易区分． 遵循吴老师的符号系统,我对任意层神经网络模型进行了详细的推导,形成笔记． 有人说推导任意层MLP很容易,我表示怀疑啊．难道又是我智商的问题嘛╮(╯＿╰)╭． 推导神经网络, 我用了一天．最后完成了,我就放心了,可以进行下一部分学习了:) 推这玩意是个脏活累活,直接记住向量化表示(结果)也是极好的. 顺便说一下,本文的图片若看不清,可以另存为本地文件放大看(scan的时候我定了较高的精度),更清楚^^ 该

参考:https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码,下面是本人的笔记 两层神经网络,和吴恩达课后作业学习1-week3-homework-one-hidden-layer——不发布不同之处在于使用的函数不同线性->ReLU->线性->sigmod函数,训练的数据也不同,这里训练的是之前吴恩达课后作业学习1-week2-homework-logistic中的数据,判断是否为猫,查看使用

参考:https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码,下面是本人的笔记 实现多层神经网络 1.准备软件包 import numpy as np import h5py import matplotlib.pyplot as plt import testCases #参见资料包,或者在文章底部copy from dnn_utils import sigmoid, sigmoid_backwar

参考:https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码,下面是本人的笔记 初始化.正则化.梯度校验 1. 初始化参数:    1.1:使用0来初始化参数.    1.2:使用随机数来初始化参数.    1.3:使用抑梯度异常初始化参数(参见视频中的梯度消失和梯度爆炸).2. 正则化模型:    2.1:使用二范数对二分类模型正则化——L2正则化方法,尝试避免过拟合.    2.2:使用随机删除节

参考:https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码,下面是本人的笔记 4.正则化 1)加载数据 仍是问题: 'c' argument has 1 elements, which is not acceptable for use with 'x' with s 解决——直接导入函数: import scipy.io as sio def load_2D_dataset(is_plot=Tru

1.斯坦福大学公开课机器学习 (吴恩达 Andrew Ng) http://open.163.com/special/opencourse/machinelearning.html 笔记 http://cs229.stanford.edu/syllabus.html http://www.cnblogs.com/jerrylead/default.html?page=3 http://www.cnblogs.com/madrabbit/ https://blog.csdn.net/xiahouz

最近开源了周志华老师的西瓜书<机器学习>纯手推笔记: 博士笔记 | 周志华<机器学习>手推笔记第一章思维导图 [博士笔记 | 周志华<机器学习>手推笔记第二章"模型评估与选择" 博士笔记 | 周志华<机器学习>手推笔记第三章"线性模型" 博士笔记 | 周志华<机器学习>手推笔记第四章"决策树" 博士笔记 | 周志华<机器学习>手推笔记第五章"神经网络" 博

博主 撸的  该节 代码 地址 :https://github.com/LemonTree1994/machine-learning/blob/master/%E5%90%B4%E6%81%A9%E8%BE%BE%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/Untitled%20Folder%202/Untitled%20Folder%203/tf_tutorial.ipynb 博主参考的大牛(CSDN  何宽)的实践 :https://blog.csdn.net/u