Python深度学习读书笔记-4.神经网络入门

神经网络剖析训练神经网络主要围绕以下四个方面: 层,多个层组合成网络(或模型) 输入数据和相应的目标损失函数,即用于学习的反馈信号优化器,决定学习过程如何进行如图 3-1 所示:多个层链接在一起组成了网络,将输入数据映射为预测值.然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度.优化器使用这个损失值来更新网络的权重. …

标量(0D 张量) 仅包含一个数字的张量叫作标量(scalar,也叫标量张量.零维张量.0D 张量).在Numpy 中,一个float32 或float64 的数字就是一个标量张量(或标量数组).你可以用ndim 属性来查看一个Numpy 张量的轴的个数.标量张量有0 个轴(ndim == 0).张量轴的个数也叫作阶(rank).下面是一个Numpy 标量. >>> import numpy as np >>> x = np.array(12) >>&g…

Python深度学习读书笔记-1.什么是深度学习

人工智能什么是人工智能.机器学习与深度学习(见图1-1)?这三者之间有什么关系?…

Python深度学习读书笔记-5.Keras 简介

Keras 重要特性相同的代码可以在 CPU 或 GPU 上无缝切换运行. 具有用户友好的 API,便于快速开发深度学习模型的原型. 内置支持卷积网络(用于计算机视觉).循环网络(用于序列处理)以及二者的任意组合. 支持任意网络架构:多输入或多输出模型.层共享.模型共享等.这也就是说, Keras能够构建任意深度学习模型,无论是生成式对抗网络还是神经图灵机 Keras 有三个后端实现: TensorFlow 后端.Theano 后端和微软认知工具包( CNTK, Microsoft…

Python深度学习读书笔记-2.初识神经网络

MNIST 数据集包含60 000 张训练图像和10 000 张测试图像,由美国国家标准与技术研究院(National Institute of Standards and Technology,即MNIST 中的NIST)在20 世纪80 年代收集得到. 类和标签在机器学习中,分类问题中的某个类别叫作类(class).数据点叫作样本(sample).某个样本对应的类叫作标签(label).…

Python深度学习读书笔记-6.二分类问题

电影评论分类:二分类问题加载 IMDB 数据集 from keras.datasets import imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) 将整数序列编码为二进制矩阵(One-hot编码) import numpy as np def vectorize_sequences(sequences, dimension=10000): resul…

深度学习读书笔记之RBM（限制波尔兹曼机）

深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 3)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的.如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 4)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢.…

[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning

- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等,而我们通过提供大量的training data给这个函数集合,对集合里的各种函数组合的输出进行比对,最后选出一个能输出最佳结果(结果是猫)的组合,那么因为这个组合已经很能够很准确的识别猫,所以这个组合就能用来检测图片里是否是猫. - 具体来说,下面第一张图,某一个点为一个函数,而整个网络机构为函数集…

深度学习课程笔记（一）CNN 卷积神经网络

深度学习课程笔记(一)CNN 解析篇相关资料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html 首先提到 Why CNN for Image ? 综合上述三个特点,我们可以看到图像识别有如下的特色: =================================== 分割线 ======================================================= 以上就是整体上来感受下深度神经网络,接下…

关于python深度学习网站

大数据文摘作品,转载要求见文末编译团队|姚佳灵裴迅简介 ▼ 深度学习,是人工智能领域的一个突出的话题,被众人关注已经有相当长的一段时间了.它备受关注是因为在计算机视觉(Computer Vision)和游戏(Alpha GO)等领域有超越人类能力的突破 .自上一次调查(查看调查:https://www.analyticsvidhya.com/blog/2014/06/deep-learning-attention/)以来,对于深度学习的关注又出现了大幅增加的趋势. 下图是谷歌趋势向我们…

7大python 深度学习框架的描述及优缺点绍

Theano https://github.com/Theano/Theano 描述: Theano 是一个python库, 允许你定义, 优化并且有效地评估涉及到多维数组的数学表达式. 它与GPUs一起工作, 并且在符号微分方面表现优秀. 文档: http://deeplearning.net/software/theano/ 概述: Theano是数值计算的主力, 它支持了许多我们列表当中的其他的深度学习框架. Theano由 frederic bastien 创建, 这是蒙特利尔大学机器学…

JS做深度学习1——偶然发现与入门

JS做深度学习1--偶然发现与入门不久前,我初次涉猎了Node.js,并且使用它开发了毕业设计的WEB模块,然后通过在Node中调用系统命令执行Python文件方式实现了深度学习功能模块的对接,Python代码的介入,让JS代码显得很累赘,我说过我很爱ES6以后的JS并且很讨厌Python的代码风格,无奈,我在写毕设那会Google还没有正式发布基于JS的深度学习框架,好吧,其实我对这事已经抱怨了很久,但是我的"呼声"仿佛很快就被Google"认同了"(滑稽),就…

深度学习word2vec笔记之算法篇

深度学习word2vec笔记之算法篇声明: 本文转自推酷中的一篇博文http://www.tuicool.com/articles/fmuyamf,若有错误望海涵前言在看word2vec的资料的时候,经常会被叫去看那几篇论文,而那几篇论文也没有系统地说明word2vec的具体原理和算法,所以老衲就斗胆整理了一个笔记,希望能帮助各位尽快理解word2vec的基本原理,避免浪费时间. 当然如果已经了解了,就随便看看得了. 一． CBOW加层次的网络结构与使用说明 Word2vec总共有两种类…

（转）深度学习word2vec笔记之基础篇

深度学习word2vec笔记之基础篇声明: 1)该博文是多位博主以及多位文档资料的主人所无私奉献的论文资料整理的.具体引用的资料请看参考文献.具体的版本声明也参考原文献 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的.如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢. 4)阅读本文需要机器学习.语言模型等等基础(如果没…

深度学习word2vec笔记之基础篇

作者为falao_beiliu. 作者:杨超链接:http://www.zhihu.com/question/21661274/answer/19331979来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 最近几位google的研究人员发布了一个工具包叫word2vec,利用神经网络为单词寻找一个连续向量空间中的表示.这里整理一下思路,供有兴趣的同学参考. 这里先回顾一下大家比较熟悉的N-gram语言模型. 在自然语言任务里我们经常要计算一句话的概率.比如语音识别…

深度学习课程笔记（十二） Matrix Capsule

深度学习课程笔记(十二) Matrix Capsule with EM Routing 2018-02-02 21:21:09 Paper: https://openreview.net/pdf/99b7cb0c78706ad8e91c13a2242bb15b7de325ad.pdf Blog: https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/ [Abstract] 一个…

深度学习课程笔记（十一）初探 Capsule Network

深度学习课程笔记(十一)初探 Capsule Network 2018-02-01 15:58:52 一.先列出几个不错的 reference: 1. https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b 2. https://medium.com/ai%C2%B3-theory-practice-bus…

深度学习课程笔记（五）Ensemble

深度学习课程笔记(五)Ensemble 2017.10.06 材料来自: 首先提到的是 Bagging 的方法: 我们可以利用这里的 Bagging 的方法,结合多个强分类器,来提升总的结果.例如: 通过这种求平均的方法,可以得到更加接近真实值的输出. 我们可以对训练数据集进行随机采样,构建四个子数据集,然后分别对这些数据进行分类器的训练,得到多个强分类器. 上面是训练的情况,当测试的时候,我们可以将多个分类器的结果综合起来,得到最终的结果. ==>> 这些方法在你的模型比较复杂,容易过拟…

深度学习课程笔记（四）Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 我们知道在神经网络中,我们需要求解的是一个最小化的问题,即:最小化 loss function. 假设我们给定一组初始的参数 $\theta$,那么我们可以算出在当前参数下,这个loss是多少,即表示了这个参数到底有多不好. 然后我们利用上述式子来调整参数,其中梯度可以用▽的形式…

深度学习课程笔记（三）Backpropagation 反向传播算法

深度学习课程笔记(三)Backpropagation 反向传播算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 反向传播算法这里是用到 chain rule(链式法则)的,如下图所示: 这个应该没什么问题.大家都学过的. 我们知道总的loss 是由各个小的 loss 组合得到的,那么我们在求解 Loss 对每一个参数的微分的时候,只要对每一个 loss 都这么算就可以了.那么我们以后的例子都是以…

(zhuan) 126 篇殿堂级深度学习论文分类整理从入门到应用

126 篇殿堂级深度学习论文分类整理从入门到应用 | 干货雷锋网作者: 三川 2017-03-02 18:40:00 查看源网址阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:“论文那么多,从哪一篇读起?” 本文将试图解决这个问题——文章标题本来是:“从入门到绝望,无止境的深度学习论文”.请诸位备好道具,开启头悬梁锥刺股的学霸姿势. 开个玩笑. 但对非科班出身的开发者而言,读论文的确可以成为一件很…

参考分享《Python深度学习》高清中文版pdf+高清英文版pdf+源代码

学习深度学习时,我想<Python深度学习>应该是大多数机器学习爱好者必读的书.书最大的优点是框架性,能提供一个"整体视角",在脑中建立一个完整的地图,知道哪些常用哪些不常用,再据此针对性地查漏补缺就比较方便了,而如果直接查文档面对海量的API往往会无所适从. 全书分为两大部分,第一部分是对于深度学习的全局介绍,包括其与人工智能.机器学习的关系,一些相关的基本概念如张量(tensor).梯度下降.神经网络.反向传播算法等等.其中第三章举了三个简单的例子,分别对应的任务是二分…

C语言深度解剖读书笔记

开始本节学习笔记之前,先说几句题外话.其实对于C语言深度解剖这本书来说,看完了有一段时间了,一直没有时间来写这篇博客.正巧还刚刚看完了国嵌唐老师的C语言视频,觉得两者是异曲同工,所以就把两者一起记录下来.等更新完这七章的学习笔记,再打算粗略的看看剩下的一些C语言的书籍. 本节知识: 1.c语言中一共有32个关键字,分别是:auto.int.double.long.char.short.float.unsigned.signed.sizeof.extern.static.goto.if.else.…