8.1  非线性假设 8.2  神经元和大脑 8.3  模型表示 1 8.4  模型表示 2 8.5  特征和直观理解 1 8.6  样本和直观理解 II 8.7  多类分类 8.1  非线性假设 无论是线性回归还是逻辑回归都有这样一个缺点,即当特征太多时,计 算的负荷会非常大. 下面是一个例子: 之前已经看到过,使用非线性的多项式项,能够帮助我们建立更好的分类模型. 假设我们有非常多的特征,例如大于 100 个变量,想用这 100 个特征来构建一个非线性的多项式模型,结果将是数量非常惊人的特征…
8.1 非线性假设 我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大. 下面是一个例子: 当我们使用x1, x2 的多次项式进行预测时,我们可以应用的很好. 之前我们已经看到过,使用非线性的多项式项,能够帮助我们建立更好的分类模型.假设我们有非常多的特征,例如大于100个变量,我们希望用这100个特征来构建一个非线性的多项式模型,结果将是数量非常惊人的特征组合,即便我们只采用两两特征的组合(…
Neural networks is a model inspired by how the brain works. It is widely used today in many applications: when your phone interprets(解释口译) and understand your voice commands, it is likely that a neural network is helping to understand your speech; wh…
目录 1 什么是RNNs 2 RNNs能干什么 2.1 语言模型与文本生成Language Modeling and Generating Text 2.2 机器翻译Machine Translation 2.3 语音识别Speech Recognition 2.4 图像描述生成 Generating Image Descriptions 3 如何训练RNNs 4 RNNs扩展和改进模型 4.1 Simple RNNsSRNs2 4.2 Bidirectional RNNs3 4.3 DeepB…
Andrew NG的Machine learning课程地址为:https://www.coursera.org/course/ml 神经网络一直被认为是比较难懂的问题,NG将神经网络部分的课程分为了两个星期来介绍,可见Neural Networks内容之多.言归正传,通过之前的学习我们知道,使用非线性的多项式能够帮助我们建立更好的分类模型.但当遇特征非常多的时候,需要训练的参数太多,使得训练非常复杂,使得逻辑回归有心无力. 例如我们有100个特征,如果用这100个特征来构建一个非线性的多项式模…
第三周:浅层神经网络(Shallow neural networks) 3.1 神经网络概述(Neural Network Overview) 使用符号$ ^{[…
第四周:深层神经网络(Deep Neural Networks) 4.1 深层神经网络(Deep L-layer neural network) 有一些函数,只有非常深的神经网络能学会,而更浅的模型则办不到. 对于给定的问题很难去提前预测到底需要多深的神经网络,所以先去尝试逻辑回归,尝试一层然后两层隐含层, 然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上 评估,或者用开发集来评估. 一些符号注意: 用 L 表示层数,上图5hidden layers :…
原文 http://blog.csdn.net/abcjennifer/article/details/7749309 本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学习系统设计.SVM(Support Vector Machines 支持向量机).聚类.降维.异常检测.大规模机器学习等章节.所有内容均来自Standford公开课machine…
3.1 神经网络概述(Neural Network Overview ) (神经网络中,我们要反复计算a和z,最终得到最后的loss function) 3.2 神经网络的表示(Neural Network Representation) 3.3 计算一个神经网络的输出(Computing a Neural Network's output ) 向量化计算: 详细过程见下: 公式 3.10: (W---4x3) 3.4 多样本向量化(Vectorizing across multiple exa…
Convolutional Neural Networks NOTE: This tutorial is intended for advanced users of TensorFlow and assumes expertise and experience in machine learning. Overview CIFAR-10 classification is a common benchmark problem in machine learning. The problem i…
3. Model Representation I 1 神经网络是在模仿大脑中的神经元或者神经网络时发明的.因此,要解释如何表示模型假设,我们不妨先来看单个神经元在大脑中是什么样的. 我们的大脑中充满了如上图所示的这样的神经元,神经元是大脑中的细胞.其中有两点值得我们注意,一是神经元有像这样的细胞主体(Nucleus),二是神经元有一定数量的输入神经和输出神经.这些输入神经叫做树突(Dendrite),可以把它们想象成输入电线,它们接收来自其他神经元的信息.神经元的输出神经叫做轴突(Axon),…
在这篇文章中,我们一起来讨论一种叫作"神经网络"(Neural Network)的机器学习算法,这也是我硕士阶段的研究方向.我们将首先讨论神经网络的表层结构,在之后再具体讨论神经网络学习算法. 神经网络实际上是一个相对古老的算法,并且沉寂了一段时间,不过到了现在它又成为许多机器学习问题的首选技术. 1. Non-linear Hypotheses 之前我们已经介绍过线性回归和逻辑回归算法了,那为什么还要研究神经网络? 为了阐述研究神经网络算法的目的,我们首先来看几个机器学习问题作为例子…
人工神经网络的产生一定程度上受生物学的启发,因为生物的学习系统是由相互连接的神经元相互连接的神经元组成的复杂网络.而人工神经网络跟这个差不多,它是一系列简单的单元相互密集连接而成的.其中每个单元有一定数量的输入(可能是其他单元的输出),并产生单一的实数值输出(可能成为其他单元的输入). 常见的人工神经网络结果如下图: (1) 网络由三部分组成,输入层.隐藏层和输出层,往往隐藏层只有1层或2层: (2) 每层由若干个单元组成,所有单元分层互连形成一个无环的前馈网络: (3) 下一层的某个单元的输入…
原文链接:https://developers.google.com/machine-learning/crash-course/multi-class-neural-networks/ 多类别分类,这种模型可从多种可能的情况中进行选择. 1- 一对多 一对多提供了一种利用二元分类的方法.鉴于一个分类问题会有 N 个可行的解决方案,一对多解决方案包括 N 个单独的二元分类器,每个可能的结果对应一个二元分类器.在训练期间,模型会训练一系列二元分类器,使每个分类器都能回答单独的分类问题.以一张狗狗的…
原文链接:https://developers.google.com/machine-learning/crash-course/training-neural-networks/ 反向传播算法是最常见的一种神经网络训练算法.借助这种算法,梯度下降法在多层神经网络中将成为可行方法.TensorFlow 可自动处理反向传播算法,因此不需要对该算法作深入研究. 1- 最佳做法 1.1 失败案例 很多常见情况都会导致反向传播算法出错. 梯度消失 较低层(更接近输入)的梯度可能会变得非常小.在深度网络中…
Neural Network Motivations 想要拟合一条曲线,在feature 很多的情况下,feature的组合也很多,在现实中不适用,比如在computer vision问题中feature就太多了. Applications cost function and BP                 Gradient Checking https://www.coursera.org/learn/machine-learning/supplement/pjdBA/backpropa…
目录 DAN(Deep Average Network) Fasttext fasttext文本分类 fasttext的n-gram模型 Doc2vec DAN(Deep Average Network) MLP(Multi-Layer Perceptrons)叫做多层感知机,即由多层网络简单堆叠而成,进而我们可以在输出层加入softmax,或者将输入层作为特征进行提取后,输入到SVM,逻辑回归,朴素贝叶斯等传统分类器进行分类预测.其中最具代表的是DAN,其基本结构如下图所示: 在输入层,我们对…
一.Non-linear Hypotheses 线性回归和逻辑回归在特征很多时,计算量会很大. 一个简单的三层神经网络模型: \[a_i^{(j)} = \text{"activation" of unit $i$ in layer $j$}$$$$\Theta^{(j)} = \text{matrix of weights controlling function mapping from layer $j$ to layer $j+1$} \] 其中:$$a_1^{(2)} = g…
本笔记为Coursera在线课程<Machine Learning>中的神经网络章节的笔记. 八.神经网络:表述(Neural Networks: Representation) 本节主要讨论一种叫做神经网络的机器学习算法.首先讨论神经网络的表层结构,在后续的课程中再讨论具体的学习算法.神经网络其实是一个比较古老的算法,它沉寂过一点时间,但现在又成为了许多机器学习的首选技术. 8.1 非线性假设 参考视频: 8 - 1 - Non-linear Hypotheses (10 min).mkv…
循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Proce…
转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考:http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse/article/details/70225998 http://kubicode.me/2017/05/15/Deep%20Learning/Understanding-about-RNN/ RNN…
原文地址: http://blog.csdn.net/heyongluoyao8/article/details/48636251# 循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网…
一.卷积 卷积神经网络(Convolutional Neural Networks)是一种在空间上共享参数的神经网络.使用数层卷积,而不是数层的矩阵相乘.在图像的处理过程中,每一张图片都可以看成一张“薄饼”,其中包括了图片的高度.宽度和深度(即颜色,用RGB表示). 在不改变权重的情况下,把这个上方具有k个输出的小神经网络对应的小块滑遍整个图像,可以得到一个宽度.高度不同,而且深度也不同的新图像. 卷积时有很多种填充图像的方法,以下主要介绍两种,一种是相同填充,一种是有效填充. 如图中紫色方框所…
An Intuitive Explanation of Convolutional Neural Networks 原文地址:https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/comment-page-4/?unapproved=31867&moderation-hash=1ac28e426bc9919dc1a295563f9c60ae#comment-31867 一.什么是卷积神经网络.为什么卷积神经网络很重要? 卷…
本系列主要是讲解卷积神经网络 - Convolutional Neural Networks 的系列知识,本系列主要帮助大家入门,我相信这是所有入门深度学习的初学者都必须学习的知识,这里会用更加直接和用大白话的方式向大家来介绍CNN,如果感兴趣的话就继续看下去吧. ​卷积网络的基本结构 卷积神经网络,简称CNN,是计算机视觉中的重要方法,可以用于计算机视觉中的图像分类.人脸识别.语音处理.文本信息处理等,可以看下面的图直观感受一下卷积神经网络的基本结构. 我们可以看到简单的卷积神经网络CNN结构…
本栏目内容来自Andrew NG老师的公开课:https://class.coursera.org/ml/class/index 一般而言, 人工神经网络与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时人工神经网络方法才能显示出其优越性.尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断.特征提取和预测等问题,人工神经网络往往是最有利的工具.另一方面, 人工神经网络对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性. 神经网络模型解决问题的…
卷积神经网络(Convolutional Neural Networks/ CNN/ConvNets) 卷积神经网络和普通神经网络十分相似: 组成它们的神经元都具有可学习的权重(weights)和偏置(biases).每个神经元接受一些输入,执行一个点积操作,并且可能执行一个非线性函数最后得到该神经元的输出.整个网络仍然可以表示为一个可微评分函数.这个函数在一端输入图像的像素,在另一端得到某个类别的分数.同时卷积神经网络在做后一个层(fully-connected)上仍然具有损失函数--例如SV…
这学期一直在跟进 Coursera上的 Machina Learning 公开课, 老师Andrew Ng是coursera的创始人之一,Machine Learning方面的大牛.这门课程对想要了解和初步掌握机器学习的人来说是不二的选择.这门课程涵盖了机器学习的一些基本概念和方法,同时这门课程的编程作业对于掌握这些概念和方法起到了巨大的作用. 课程地址 https://www.coursera.org/learn/machine-learning 笔记主要是简要记录下课程内容,以及MATLAB…
Lesson 1 Neural Network and Deep Learning 这篇文章其实是 Coursera 上吴恩达老师的深度学习专业课程的第一门课程的课程笔记. 参考了其他人的笔记继续归纳的. 逻辑回归 (Logistic Regression) 逻辑回归的定义 神经网络的训练过程可以分为前向传播(forward propagation) 和反向传播 (backward propagation) 的 过程.我们通过逻辑回归的例子进行说明. 逻辑回归是一个用于二分类 (binary c…
原文 http://blog.csdn.net/abcjennifer/article/details/7758797 本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学习系统设计.SVM(Support Vector Machines 支持向量机).聚类.降维.异常检测.大规模机器学习等章节.所有内容均来自Standford公开课machine…