The goal of backpropagation is to compute the partial derivatives ∂C/∂w and ∂C/∂b of the cost function C with respect to any weight ww or bias b in the network. we use the quadratic cost function   two assumptions : 1: The first assumption we need is…

损失由两部分组成: 数据损失+正则化损失(data loss + regularization) 想得到损失函数关于权值矩阵W的梯度表达式,然后进性优化操作(损失相当于海拔,你在山上的位置相当于W,你进行移动,需要知道你到底是向下走了还是向上走了,所以可通过梯度或者是斜率来知道,你的目标是不断的移动你的W就是位置,使你找到谷底就是损失最小的,但是有可能会存在你找到局部的谷底,就是所谓的局部最优). 我们使用梯度下降算法,进行迭代运算,计算梯度进行权值的更新,一直循环执行这个操作,最后会停留在损失…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Contents: ABSTRACT 1. Introduction 2. Biological background 2.1. Spiking neuron models 2.2. Synaptic plasticity 2.2.1. Unsupervised learning 2.2.2. Supervised learning 2.2.3. Reinforcement learning 2.2.4. Delay learning…

原论文出处:https://www.nature.com/articles/nature14539 by Yann LeCun, Yoshua Bengio & Geoffrey Hinton Nature volume521, pages436–444 (28 May 2015) 译者:这篇论文性质为深度学习的综述,原本只是想做做笔记,但找到的翻译都不怎么通顺.既然要啃原文献,索性就做个翻译,尽力准确通畅.转载使用请注明本文出处,当然实在不注明我也并没有什么办法. 论文中大量使用貌似作者默认术…

前几天看了<Code Review 程序员的寄望与哀伤>,想到我们团队开展Code Review也有2年了,结果还算比较满意,有些经验应该可以和大家一起分享.探讨.我们为什么要推行Code Review呢?我们当时面临着代码混乱.Bug频出的状况.当时我觉得要有所改变,希望能提高产品的代码质量,改善开发团队面临的困境.并且我个人在开发上有很多经验,也希望这些知识能够在团队内传播.各种考虑后,我们最后认为推行Code Review能改善或解决我们面临的很多问题. 这篇文章的目的不是告诉大家怎么在…

一个程序员,他写完了代码,在测试环境通过了测试,然后他把它发布到了线上生产环境,但很快就发现在生产环境上出了问题,有潜在的 bug. 事后分析,是生产环境的一些微妙差异,使得这种 bug 场景在线下测试中很难被发现.毕竟想要在测试环境完美的复制生产环境的所有情况也是不太可能的,导致出现了疏漏.对于这类情况,我们在想是否可以通过在线下做一些 Code Review(代码审查)假想线上的环境差异,通过在头脑中的假想上线运行来获得一些概念验证,这样是否能够减少上线后出现 bug 的概率呢? 感性 Co…

异常处理汇总-后端系列 http://www.cnblogs.com/dunitian/p/4523006.html 应用场景:ViewModel==>Mode映射的时候出错 AutoMappe r错误信息:Unmapped members were found. Review the types and members below.Add a custom mapping expression, ignore, add a custom resolver, or modify the sour…

Code Review流程1.根据开发任务,建立git分支, 分支名称模式为feature/任务名,比如关于API相关的一项任务,建立分支feature/api.git checkout -b feature/api 2.运行git branch 确认切换到了feature/api分支 3.编辑代码完成开发任务, commit相关代码git add -Agit commit -m "implement api architecture" 4.将分支代码push到服务器git push…

本文总结自<Neural Networks and Deep Learning>第2章的部分内容. Backpropagation算法 Backpropagation核心解决的问题: ∂C/∂w 和 ∂C/∂b 的计算, 针对cost函数C. 1. BP算法四个关键公式 2. BP算法步骤 3. BP算法推导过程 可以参考这篇博客:http://www.cnblogs.com/biaoyu/archive/2015/06/20/4591304.html 4. BP算法的一个例子 这篇博客有一个…

故障review的一些总结 故障review的目的 归纳出现故障产生的原因 检查故障的产生是否具有普遍性,并尽可能的保证同类问题不在出现, 回顾故障的处理流程,并检查处理过程中所存在的问题.并确定此类问题的处理方法论.使得即便以后出现了同类的问题,也有明确的方法论来指导 标明后续改进措施及落实时间点 经验总结和分享 故障的级别定义 不同公司对于故障的级别有不同的定义,一般会有P1,P2,P3这几类故障,故障的严重级别依次降低.一个可能的定义如下: P1 公司主站提供的服务出现异常,广告展示出现问…