cost function,一般得到的是一个 scalar-value,标量值: 执行 SGD 时,是最终的 cost function 获得的 scalar-value,关于模型的参数得到的: 1. 分类和预测 评估: 准确率: 速度:健壮性: 可规模性: 可解释性: 2. Data Augmentation 平移.旋转/翻转.缩放.加噪声 3. 溢出 矩阵求逆,W=PQ−1 W = P/(Q+1e-5*eye(d)); 4. batch norm.relu.dropout 等的相对顺序 Or

1. batch norm 输入batch norm层的数据为[N, C, H, W], 该层计算得到均值为C个,方差为C个,输出数据为[N, C, H, W]. <1> 形象点说,均值的计算过程为: (1) 即对batch中相同索引的通道数取平均值,所以最终计算得到的均值为C个,方差的计算过程与此相同. <2> batch norm层的作用: a. 均值:(2) b. 方差:(3) c. 归一化:(4) 2. caffe中batch_norm_layer.cpp中的LayerSe

学卷积神经网络的理论的时候,我觉得自己看懂了,可是到了用代码来搭建一个卷积神经网络时,我发现自己有太多模糊的地方.这次还是基于MINIST数据集搭建一个卷积神经网络,首先给出一个基本的模型,然后再用Batch Norm.Dropout和早停对模型进行优化:在此过程中说明我在调试代码过程中遇到的一些问题和解决方法. 一.搭建基本的卷积神经网络 第一步:准备数据 在<Hands on Machine Learning with Scikit-Learn and TensorFlow>这本书上,用的

在上一篇博客<TensorFlow之DNN(一):构建“裸机版”全连接神经网络>中,我整理了一个用TensorFlow实现的简单全连接神经网络模型,没有运用加速技巧(小批量梯度下降不算哦)和正则化方法,通过减小batch size,也算得到了一个还可以的结果. 那个网络只有两层,而且MINIST数据集的样本量并不算太大.如果神经网络的隐藏层非常多,每层神经元的数量巨大,样本数量也巨大时,可能出现三个问题: 一是梯度消失和梯度爆炸问题,导致反向传播算法难以进行下去: 二是在如此庞大的网络中进行训

加速网络收敛——BN.LN.WN与selu 自Batch Norm出现之后,Layer Norm和Weight Norm作为Batch Norm的变体相继出现.最近又出来一个很”简单”的激活函数Selu,能够实现automatic rescale and shift.这些结构都是为了保证网络能够堆叠的更深的基本条件之一.除了这四种,还有highway network与resnet. Batch Norm BN对某一层激活值做batch维度的归一化,也就是对于每个batch,该层相应的output

BN作用: 加速收敛 控制过拟合,可以少用或不用Dropout和正则 降低网络对初始化权重不敏感 允许使用较大的学习率 一.如何加速收敛? 通过归一化输入值/隐藏单元值,以获得类似的范围值,可加速学习. 限制了在前层的参数更新会影响数值分布的程度,使层的输出更加稳定,神经网络的之后的层就会有更坚实的基础(减弱了后层的参数因前层参数发生变化而受到的影响) 减弱了前层参数的作用与后层参数的作用之间的联系,使得网络每层都可以自己学习,稍稍独立于其他层,有助于加速整个网络的学习. 二.为什么说BN也会起

在应用中接入Twitter进行第三方登录时,开发人员遇到了一点问题,主要是概念有点混乱,这里把经验记录一下,帮助遇到同样问题的朋友. 一.注册应用并配置登录权限 这一步比较简单,就不多说了,直接去官网添加应用,给读写权限就行了. 网址:https://dev.twitter.com/apps 这一步完成后,最重要的是得到两个数据,一个是app_key,一个是app_secret.这两个字符串在后面会用到. 二.添加依赖的包(引用sdk) 这一步要注意的是,twitter的sdk是放在自己的mav

Batch Norm的意义:Covariate shift的问题 在传统的机器学习中,我们通常会认为source domain和target domain的分布是一致的,也就是说,训练数据和测试数据是满足相同分布的.这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障. Convariate Shift是指训练集的样本数据和目标样本集分布不一致时,训练得到的模型无法很好的Generalization.它是分布不一致假设之下的一个分支问题,也就是指Sorce Domain和Targe

一.结论 Batch Norm一般用于CV领域,而Layer Norm一般用于NLP领域 Batch Norm需要计算全局平均,而Layer Norm不需要计算全局平均 二.Batch Norm Batch Norm原理: BatchNorm把一个batch中同一通道的所有特征(如上图红色区域)视为一个分布(有几个通道就有几个分布),并将其标准化.这意味着: 不同图片的的同一通道的相对关系是保留的,即不同图片的同一通达的特征是可以比较的 同一图片的不同通道的特征则是失去了可比性 用于CV领域的解

在Web应用中接入微信支付的流程之极简清晰版 背景: 在Web应用中接入微信支付,我以为只是调用几个API稍作调试即可. 没想到微信的API和官方文档里隐坑无数,致我抱着怀疑人生的心情悲愤踩遍了丫们布下的所有坑. 简要介绍几个主要大坑: 坑一:关于WeixinJSBridge这个对象 查阅网页端调起支付API的开发文档,此对象即旁若无人的映入眼帘. 然后我们就理所应当的在代码里调用了丫的. 可是,too young too naive…… 尽管此对象只在微信浏览器里有效,借此可判断用户是否在微信

在Web应用中接入微信支付的流程之极简清晰版 背景: 在Web应用中接入微信支付,我以为只是调用几个API稍作调试即可. 没想到微信的API和官方文档里隐坑无数,致我抱着怀疑人生的心情悲愤踩遍了丫们布下的所有坑. 简要介绍几个主要大坑: 坑一:关于WeixinJSBridge这个对象 查阅网页端调起支付API的开发文档,此对象即旁若无人的映入眼帘. 然后我们就理所应当的在代码里调用了丫的. 可是,too young too naive…… 尽管此对象只在微信浏览器里有效,借此可判断用户是否在微信

1. 首先去支付宝官网下载开发者文档 2. 然后按着开发者文档将支付宝的sdk导入到你的工程中,并关联到工程中,步骤入下图: (1)将从支付宝官方网站获得的支付宝的sdk的jar包拷贝到工程中的libs目录下,如图 (2)右键工程选择Properties,弹出如下窗口,首先选择1,其次选中2,最后点击3将拷到工程中的三个支付宝的jar包一一关联到工程中 3.  最后修改工程的AndroidManifest.xml文件,添加新的权限和支付宝的Activity,代码如下: 新权限: <uses-pe

在接受到UDP包后,有时候我们需要根据所接收到得UDP包,获取它的路由目的IP地址和头标识目的地址. (一)主要的步骤: 在setsockopt中设置IP_PKTINFO,然后通过recvmsg来获取struct in_pktinfo(struct in_pktinfo是struct msghdr中msg_control的成员).in_pktinfo 结构体(如下所示),我们可以从in_pktinfo中获取路由目的地址(destination address of the packet).头标识

提要 本文主要介绍了怎样在Unity中接入Xbox360的手柄. 当我们调Input.GetAxis("Horizontal"),我们调了什么 Unity中全部关于输入的设置都在Edit -> Project Setting -> Input里面,点开之后,Inspector面板中就会显示当前的输入设置. 几个重要选项的含义有: Gravity How fast will the input recenter. Only used when the Type is key

前言 通过前两篇文章: Nacos(二):Nacos与OpenFeign的对接使用 Nacos(三):SpringCloud项目中接入Nacos作为注册中心 相信大家已经对Nacos作为注册中心的基本使用已经有了一定的了解. 然而,Nacos远远不止于此,本文我们来看一下Nacos作为配置中心在SpringCloud中的使用 我的环境 Windows10 JDK8 SpringCloud:Finchley.RELEASE SpringBoot:2.0.4.RELEASE spring-cloud

我在上一篇文章 [Unity与Android]01-Unity与Android交互通信的简易实现) 中介绍了Unity与Android通讯的基本方法. 这一篇开始进入应用阶段,这次要介绍的是如何在Android工程中接入Google的AdMob. 关于AdMob AdMob是Google的一个广告平台,现在市面上(国外)的大部分免费游戏都是靠接入AdMob广告赚钱. AdMob提供了iOS,Android,Unity以及Cocos四大平台的SDK. 如果想在Unity游戏中接入AdMob,最快的

最近公司的大厅要重做,我协助主程一起制作新大厅和新框架,前面制作的编辑器也派上了用场.等全部功能做完后我会再写一个复盘,这两天主程在忙于写热更新的功能,所以把接入分享SDK功能的任务交给了我,ShareSDK官网的文档比较分散,而且关于Unity的文档比较简略,所以还是有不少的坑.写篇博客分享一下,并加强理解记忆. 第一步,先去ShareSDK的官网下载最新版本的ShareSDK(完全免费).地址:http://www.mob.com/ 我们选择ShareSDK For Unity3D,页面会直

老板叫我帮他测一个命令在windows下消耗的时间,因为没有装windows那个啥工具包,没有timeit那个命令,于是想自己写一个,原理很简单: REM timeit.bat echo %TIME% call %* echo %TIME% 然后两个时间减一下就可以了,但是总是自己去减始终不方便,最好能直接算好打印出来. 因为涉及到时间格式的解析,时间的运算,在batch下比较困难,自然就想到了python或者perl脚本,这里首先想到的是python的-c参数: REM timeit.bat

今天看博友的博客学习了一种很有用的方法: 在页面中需要接入企业的QQ,访问网址:http://shang.qq.com/widget/consult.php.(就是API接口),然后你只需要登录你的QQ,然后选择相应的 显示类型,就能在线生成联系QQ的代码,然后把生成的代码加入到 你要显示的位置,就能实现接入QQ功能. 此文来自博客:http://www.cnblogs.com/ACMxike20111726/ 有需要的可以借鉴.

微信JS-SDK的功能 如果你点进来,那么我相信你应该知道微信的JS-SDK可以用来做什么了.微信的官方文档描述如下. 微信JS-SDK是微信公众平台面向网页开发者提供的基于微信内的网页开发工具包. 通过使用微信JS-SDK,网页开发者可借助微信高效地使用拍照.选图.语音.位置等手机系统的能力,同时可以直接使用微信分享.扫一扫等微信特有的能力,为微信用户提供更优质的网页体验. 通过使用微信的JS-SDK,你可以让你网页在微信内调用拍照.语音.支付.位置.扫一扫这些只能在微信内使用的功能.进过下面