一,数学基础 1.1,概率密度函数 1.2,正态分布 二,背景 2.1,如何理解 Internal Covariate Shift 2.2,Internal Covariate Shift 带来的问题 2.3,减少 Internal Covariate Shift 的一些尝试 三,批量归一化(BN) 3.1,BN 的前向计算 3.2,BN 层如何工作 3.3,训练和推理式的 BN 层 3.4,实验 3.5,BN 层的优点 参考资料 一,数学基础 1.1,概率密度函数 随机变量(random va…

只要你懂 Python,大概记得高中学过的求导知识,看完这个视频你还不理解反向传播和神经网络核心要点的话,那我就吃鞋:D Andrej Karpathy,前特斯拉 AI 高级总监.曾设计并担任斯坦福深度学习课程 CS231n 讲师.OpenAI 创始成员和研究科学家.在 7 月离职特斯拉后,Andrej 在家录制了一个详解反向传播的课程,自信表示"这是 8 年来领域内对神经网络和反向传播的最佳讲解",并在推特打赌"看不懂就吃鞋". 虽然很想看 Andrej 直播吃鞋…

TCP/IP协议 包含了一系列构成互联网基础的网络协议,是Internet的核心协议.基于TCP/IP的参考模型将协议分成四个层次,它们分别是链路层.网络层.传输层和应用层.下图表示TCP/IP模型与OSI模型各层的对照关系. TCP/IP协议族按照层次由上到下,层层包装.最上面的是应用层,这里面有http,ftp,等等我们熟悉的协议.而第二层则是传输层,著名的TCP和UDP协议就在这个层次.第三层是网络层,IP协议就在这里,它负责对数据加上IP地址和其他的数据以确定传输的目标.第四层是数据链路…

以太网 以太网指数字设备公司,英特尔公司,Xeror公司在 1982年联合公布的一个标准, 是当前 TCP/IP 采用的主要局域网技术. 以太网采用 CSMA/CD 的媒体接入方法, 即 带冲突检测的载波侦听多路接入(Carrier Sense, Multiple Access with Collision Detection), 速率 10 MB/s , 地址 48 bit. IEEE 802委员会公布了其网络标准,并定义了不同的帧格式: 802.2 : 3/4/5 的共同特性, 即 802网…

简介 Mybatis 是一个持久层框架,它对 JDBC 进行了高级封装,使我们的代码中不会出现任何的 JDBC 代码,另外,它还通过 xml 或注解的方式将 sql 从 DAO/Repository 层中解耦出来,除了这些基本功能外,它还提供了动态 sql.延迟加载.缓存等功能. 相比 Hibernate,Mybatis 更面向数据库,可以灵活地对 sql 语句进行优化. 针对 Mybatis 的分析,我会拆分成使用.配置.源码.生成器等部分,都放在 Mybatis 这个系列里,内容将持续更新.…

本文介绍多层感知机算法,特别是详细解读其代码实现,基于python theano,代码来自:Multilayer Perceptron,如果你想详细了解多层感知机算法,可以参考:UFLDL教程,或者参考本文第一部分的算法简介. 经详细注释的代码:放在我的github地址上,可下载. 一.多层感知机(MLP)原理简介 多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,…

1.前言 尽管TCP和UDP都使用相同的网络层(IP),TCP却向应用层提供与UDP完全不同的服务.TCP提供一种面向连接的.可靠的字节流服务. 面向连接意味着两个使用TCP的应用(通常是一个客户和一个服务器)在彼此交换数据之前必须先建立一个TCP连接.这一过程与打电话很相似,先拨号振铃,等待对方摘机说“喂”,然后才说明是谁. 本文将分别讲解经典的TCP协议建立连接(所谓的“3次握手”)和断开连接(所谓的“4次挥手”)的过程.有关TCP协议的权威理论介绍,请参见<TCP/IP详解>这本书.(本…

参考:https://www.cnblogs.com/HPAHPA/p/7737641.html TCP.UDP详解 1.传输层存在的必要性 由于网络层的分组传输是不可靠的,无法了解数据到达终点的时间,无法了解数据未达终点的状态.因此有必要增强网络层提供服务的服务质量. 2.引入传输层的原因 面向连接的传输服务与面向连接的网络服务类似,都分为建立连接.数据传输.释放连接三个阶段:编址.寻址.流控制也是类似的.无连接的传输服务与无连接的网络服务也非常类似.一个很显然的问题:既然传输层的服务与网络层…

简介 这是 Mybatis 系列博客的第四篇,我本来打算详细讲解 mybatis 的配置.映射器.动态 sql 等,但Mybatis官方中文文档对这部分内容的介绍已经足够详细了,有需要的可以直接参考.所以,我将扩展一些其他特性或使用细节,掌握它们可以更优雅.高效地使用 mybatis. 这里补充一点,本文的所有测试例子都是基于本系列 Mybatis 第一篇文章的项目,其他相关博客如下: Mybatis源码详解系列(一)--持久层框架解决了什么及如何使用Mybatis Mybatis源码详解系列(…

简介 Mybatis 是一个持久层框架,它对 JDBC 进行了高级封装,使我们的代码中不会出现任何的 JDBC 代码,另外,它还通过 xml 或注解的方式将 sql 从 DAO/Repository 层中解耦出来,除了这些基本功能外,它还提供了动态 sql.延迟加载.缓存等功能. 相比 Hibernate,Mybatis 更面向数据库,可以灵活地对 sql 语句进行优化. 针对 Mybatis 的分析,我拆分成使用.源码分析.生成器等部分,已更新5篇博客,都放在 Mybatis 这个系列里,内容…