不用相当的独立功夫,不论在哪个严重的问题上都不能找出真理:谁怕用功夫,谁就无法找到真理. —— 列宁 本文主要介绍损失函数.优化器.反向传播.链式求导法则.激活函数.批归一化. 1 经典损失函数 1.1交叉熵损失函数——分类 (1)熵(Entropy) 变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.log以2为底! H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n) (2)交叉熵(Cr…

深度学习优化器 深度学习中的优化器均采用了梯度下降的方式进行优化,所谓炼丹我觉得优化器可以当作灶,它控制着火量的大小.形式与时间等. 初级的优化器 首先我们来一下看最初级的灶台(100 - 1000 元) Batch Gradient Descent (BGD) 名字叫做批梯度下降,实际上每次迭代会使用全部的数据来更新梯度(应该是取所有数据的平均梯度),具体公式如下: \[\theta = \theta - \eta \cdot \nabla_{\theta} J(\theta) \] 伪代码如…

pytorch版本sphereface的原作者地址:https://github.com/clcarwin/sphereface_pytorch 由于接触深度学习不久,所以花了较长时间来阅读源码,以下对项目中的lfw_eval.py文件做了详细解释 (不知是版本问题还是作者code有误,原代码存在很多的bug,需要自行一一纠正,另:由于在windows下运行,故而去掉了gpu加速以及多线程) #-*- coding:utf-8 -*- from __future__ import print_f…

from keras.layers import LSTM model = Sequential() model.add(embedding_layer) model.add(LSTM(32)) #当结果是输出多个分类的概率时,用softmax激活函数,它将为30个分类提供不同的可能性概率值 model.add(layers.Dense(len(int_category), activation='softmax')) #对于输出多个分类结果,最好的损失函数是categorical_crosse…

前言 AI 人工智能包含了机器学习与深度学习,在前几篇文章曾经介绍过机器学习的基础知识,包括了监督学习和无监督学习,有兴趣的朋友可以阅读< Python 机器学习实战 >.而深度学习开始只是机器学习的一分支领域,它更强调从连续的层中进行学习,这种层级结构中的每一层代表不同程序的抽象,层级越高,抽象程度越大.这些层主要通过神经网络的模型学习得到的,最大的模型会有上百层之多.而最简单的神经网络分为输入层,中间层(中间层往往会包含多个隐藏层),输出层.下面几篇文章将分别从前馈神经网络 FNN.卷积神…

前言 上一章为大家介绍过深度学习的基础和多层感知机 MLP 的应用,本章开始将深入讲解卷积神经网络的实用场景.卷积神经网络 CNN(Convolutional Neural Networks,ConvNet)是一种特殊的深度学习神经网络,近年来在物体识别.图像重绘.视频分析等多个层面得到了广泛的应用.本文将以VGG16预训练模型为例子,从人脸识别.预训练模型.图片风格迁移.滤波分析.热力图等多过领域介绍 CNN 的应用. 目录 一.卷积神经网络的原理 二.构建第一个 CNN 对 MNIST 数字…

0.安装背景 系统:ubuntu 16.04 内核:4.4.0-140-generic GPU:GTX 1080Ti nvidia驱动版本: 384.111 cuda: CUDA 8.0 深度学习库cuDNN: cuDNN5.1 tensorflow:1.0.1 1.安装nvdia显卡驱动 下载nvidia显卡驱动 去nvidia官网查询显卡对应的驱动,并下载.这里的显卡驱动下载链接:Download,密码:mfxh 下载的时候要注意,显卡驱动与ubuntu内核版本对应.对应表来自nvidia官…

  全文转载于郭耀华-[深度学习]深入理解Batch Normalization批标准化:   文章链接Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift:发表于2015的ICML: 这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出.   Bat…

高效开发之SASS篇   作为通往前端大神之路的普通的一只学鸟,最近接触了一样稍微高逼格一点的神器,特与大家分享~ 他是谁? 作为前端开发人员,你肯定对css很熟悉,但是你知道css可以自定义吗?大家都知道,js中可以自定义变量,css仅仅是一个标记语言,不是编程语言,因此不可以自定义变量,也不可以引用等等.作为一名程序员,不能编程怎么能忍受,这就是sass存在的意义,工业化生产,让CSS程序范儿. 主要目的就是让你写CSS时不在重复. SASS优点可以简单的规纳为以下几点: 增加了一些编程特性…

原文 ASP.NET MVC 5 学习教程:Edit方法和Edit视图详解 起飞网 ASP.NET MVC 5 学习教程目录: 添加控制器 添加视图 修改视图和布局页 控制器传递数据给视图 添加模型 创建连接字符串 通过控制器访问模型的数据 生成的代码详解 使用 SQL Server LocalDB Edit方法和Edit视图详解 添加查询 Entity Framework 数据迁移之添加字段 添加验证 Details 和 Delete 方法详解 在本节中,我们继续研究生成的Edit方法和视图.…