参数重要性: 第一阶:α即learning rate 第二阶:momentum中的β,hidden units的数量,mini-batch的大小 第三阶:hidden layers的数量,learning rate decay的参数 参数选择的方式: 一.完全在一定范围内进行随机 二.尝试完毕上述随机参数后,以粗糙到精确的思路,缩小随机范围并重复第一步 python中参数的具体实现: 对于学习率α而言:0 < α < 1 所以打个比方如果测试 0.0001 ≤ α ≤ 1显然这是一种指数分布,…

所谓Mini-batch梯度下降法就是划分训练集和测试集为等分的数个子集,比如原来有500W个样本,将其划分为5000个baby batch,每个子集中有1000个样本,然后每次对一个mini-batch进行梯度下降 mini-batch大小 = m: 极限情况下,当mini-batch的单个子集样本数量和原集合大小一致都为m时,也就是说对原样本只划分一个子集,这意味着没有划分,此时的梯度下降法为原始的Batch梯度下降 batch方法意味着每次迭代对大量的数据进行处理,这意味着在进行深度神经网…

首先感谢吴恩达老师的免费公开课,以下图片均来自于Andrew Ng的公开课 指数加权平均法 在统计学中被称为指数加权移动平均法,来看下面一个例子: 这是伦敦在一些天数中的气温分布图 Vt = βVt-1 + (1 - β)θt  β指的是加权系数 0<β<1 θt 指的是当前时刻的温度 当β=0.9的时候 1/1-β = 10 所以看到上图的红线其实就是考虑了10天之内的平均气温,其拟合度较好 当β=0.98的时候 1/1-β = 50 所以上图中的绿线是考虑了50天之内的平均气温,于是这种平…

简介:如何在ubuntu 14.04 下安装caffe深度学习框架. 注:安装caffe时一定要保持网络状态好,不然会遇到很多麻烦.例如下载不了,各种报错. 一.安装依赖包 $ sudo apt-get install git$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler $ sudo apt-get ins…

.目前使用CPU即可,先不需要显卡配置 .使用pip3 安装深度学习框架 .要先安装pip3 #sudo apt install python3-pip https://blog.csdn.net/bjzhaoxiao/article/details/81270368 https://blog.csdn.net/fengzhen8023/article/details/829277764.安装tensorflow #sudo pip3 install tensorflow5.安装pytorch…

Ubuntu系统 1.备份 在服务器上整个装系统之前,需要做好一个工作,也就是相关重要数据的备份,这里主要是将固态中的数据备份到机械硬盘或移动硬盘里,可能在备份的过程中会遇到无法写入的问题,是因为文件夹的属性可能只读等原因,所以这里可能会用到改变所有者权限的命令: sudo chmod -R 777 文件名 文件或目录的权限分为三种:只读(r).只写(w).可执行(x).用户也分为三种:所有者.组.其他用户. 上述命令中的777分别指的是这三种用户,每一位里的7是指二进制的111,也就是赋予了所…

1. 参数(parameters)/模型参数 由模型通过学习得到的变量,比如权重和偏置 2. 超参数(hyperparameters)/算法参数 根据经验进行设定,影响到权重和偏置的大小,比如迭代次数.隐藏层的层数.每层神经元的个数.学习速率等…

在深度学习领域中,最强力的理念之一就是可以将神经网络学习的一种知识应用到另一个独立的任务中. 看上面的例子,首先我们有一个已经完成训练的神经网络,其目标是图像识别,我们有了绿色的1000000张图片并训练了上面的网络. 在完成图像识别后,我们希望将我们的模型用于放射诊断任务,这就是一种迁移. 我们的做法是,把以及训练好的网络的输出层及其权重都删除掉,然后重新随机权重给最后一层,并且让它在放射诊断数据上进行训练. 在使用源数据进行训练的时候,我们把这一过程称为预训练pre-training,其目标…

Softmax 用于在深度学习中处理多分类(C > 2)问题,分类器最后的输出单元需要Softmax 函数进行数值处理.关于Softmax 函数的定义如下所示: 其中vi表示 vi = z[L] = w[L]a[L-1]+b[L] t = e[Vi] 举个例子: 这样就对应着最终分类的四个类别的概率 与softmax对应的就是hardmax 对应上面的例子就是形成一个[1,0,0,0]T的结果,即在最大的元素位置填1,其他的都填0 另外如果将softmax局限在C=2的条件下,事实上就变成了了一…

Java编程语言自从诞生起,就成为了一门非常流行的编程语言,覆盖了互联网.安卓应用.后端应用.大数据等很多技术领域,因此Java应用程序的性能分析和调优也是一门非常重要的课题.Java应用程序的性能直接关系到了很多大型电商网站的访问承载能力.大数据的数据处理量等,它的性能分析和调优往往还可以节省很多的硬件成本. 5.1  JVM基础知识 5.1.1  JVM简介 JVM是Java Virtual Machine(Java虚拟机)的英文简写,通过在实际的计算机上仿真模拟各种计算机功能来实现的.Ja…

1.系统设置要到位,遵照官方建议设置所有的系统参数. https://www.elastic.co/guide/en/elasticsearch/reference/6.7/setup.html 部署Elasticsearch集群之前将操作系统的配置设置好. 之前部署单机版.集群报了很多错误,嗯,就是这里可以解决你的问题,提前看下英文文档,解决这些问题. https://www.elastic.co/guide/en/elasticsearch/reference/6.7/system-conf…

经典的损失函数----交叉熵 1 交叉熵: 分类问题中使用比较广泛的一种损失函数, 它刻画两个概率分布之间的距离 给定两个概率分布p和q, 交叉熵为: H(p, q) = -∑ p(x) log q(x) 当事件总数是一定的时候, 概率函数满足:   任意x  p(X = x) ∈[0, 1] 且 Σ p(X=x) = 1 也就是说 所有时间发生的概率都是0到1 之间 , 且总有一个时间会发生,概率的和就为1. 2 tensorflow中softmax: softmax回归可以作为学习算法来优化…

在迁移学习transfer learning中,你的步骤是串行的sequential process 在多任务学习multi-task learning中,你试图让单个神经网络同时做几件事情,然后这里的每个任务都希望能够帮助到其他的任务. 这是一个汽车自动驾驶的问题,在这张图像中我们需要同时检测四个目标:行人.车辆.停车标志.交通灯 所以可以认为这是一个多任务学习问题,请看下图: 对于这个神经网络的输出层而言,很像softmax多分类输出. 但是对于softmax而言,是得到一个概率分布,最终对…

Batch Norm的意义:Covariate shift的问题 在传统的机器学习中,我们通常会认为source domain和target domain的分布是一致的,也就是说,训练数据和测试数据是满足相同分布的.这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障. Convariate Shift是指训练集的样本数据和目标样本集分布不一致时,训练得到的模型无法很好的Generalization.它是分布不一致假设之下的一个分支问题,也就是指Sorce Domain和Targe…

SRCNN开山之作 IDN 信息蒸馏网络information distillation network(IDN) Fast and Accurate Single Image Super-Resolution via Information Distillation Network 结构简洁.实时速度,更好精度 [转载自] 图像超分辨-IDN - 三年一梦 - 博客园 https://www.cnblogs.com/king-lps/p/9135840.html…

1.经典的CNN LeNet-5 1998的CNN鼻祖 以前用的sigmoid和tanh 下图给的是relu和softmax AlexNet ImageNet2012的冠军 VGG-16 ImageNet2014的冠军和亚军 2.残差神经网络 imageNet2015冠军和2016的亚军 2017的冠军SENet也算是res的变种 3.GoogleNet即inceptionNet 主要贡献在1x1卷积的channel缩放上 然后用了很多same conv组成了inception结构 有V1V2V…

Spark版本:1.1.0 本文系以开源中国社区的译文为基础,结合官方文档翻译修订而来,转载请注明以下链接: http://www.cnblogs.com/zhangningbo/p/4117981.html http://www.oschina.net/translate/spark-tuning 目录 数据序列化 内存优化 确定内存消耗 优化数据结构 序列化RDD存储 优化内存回收 其他考虑因素 并行度 Reduce任务的内存用量 广播”大变量“ 总结 因为大多数Spark程序都具有“内存计…

环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一.执行计划核心思想:把Hive SQL当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行 -select仅查询本表字段 -where仅对本表字段做条件过滤 Explain 显示执行计划:EXPLAIN [EXTENDED] query hive> explain sele…

1.垃圾回收器调优 当我们往hbase写入数据,它首先写入memstore当中,当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后,就会写入硬盘. 在hbase-env.sh文件中,我们可以设置HBASE_OPTS或者HBASE_REGIONSERVER_OPTS,后者只影响region server进程. export HBASE_REGIONSERVER_OPTS="-Xmx8g -Xms8g -Xmn128m -XX:+UsePar…

Nginx配置文件性能微调 全局的配置 user www-data; pid /var/run/nginx.pid; worker_processes auto; worker_rlimit_nofile 100000; worker_process定义了nginx对外提供Web服务时的worker进程数,起始可以设置为CPU的核数,CPU核数是多少就设置为多少(设置为"auto"将自动检测) worker_rlimit_nofile更改worker进程的最大打开文件限制,如果没设置的…

jmap jmap(JVM Memory Map)命令可生成head dump文件,还可查询finalize执行队列.Java堆和永久代的详细信息. 通过配置启动参数:-XX:+HeapDumpOnOutOfMemoryError参数可以让JVM出现OOM时自动生成dump文件. 官方文档链接地址:https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jmap.html 命令格式: jstat [ option ] pid jsta…

(转载:http://www.36dsj.com/archives/85383)机器学习与人工智能,相信大家已经耳熟能详,随着大规模标记数据的积累.神经网络算法的成熟以及高性能通用GPU的推广,深度学习逐渐成为计算机专家以及大数据科学家的研究重点.近年来,无论是图像的分类.识别和检测,还是语音生成.自然语言处理,甚至是AI下围棋或者打游戏都基于深度学习有了很大的突破.而随着TensorFlow.Caffe等开源框架的发展,深度学习的门槛变得越来越低,甚至初中生都可以轻易实现一个图像分类或者自动驾…

Spark中的CrossValidation Spark中采用是k折交叉验证 (k-fold cross validation).举个例子,例如10折交叉验证(10-fold cross validation),将数据集分成10份,轮流将其中9份做训练1份做验证,10次的结果的均值作为对算法精度的估计. 10折交叉检验最常见,是因为通过利用大量数据集.使用不同学习技术进行的大量试验,表明10折是获得最好误差估计的恰当选择,而且也有一些理论根据可以证明这一点.但这并非最终结论,争议仍然存在.而且似…

目录 个性化配置 ubuntu安装及其分区 NVIDIA驱动安装 配置使用清华源 安装shadowsocks-qt 安装chrome 安装gdebi 安装atom 安装wps 安装sogou pinyin 配置SSH CUDA8 cuDNN6安装 安装typora ubuntu显示实时网速 docker 相关 个性化配置 通过u盘安装系统 驱动安装 配置使用清华源 安装shadowsocks-qt 安装chrome 安装gdebi 安装atom 安装wps 安装sogou pinyin 配置ss…

这段时间,用到了哨兵影像,遇到了一个问题,就是哨兵影像,它的RGB/NIR波段是10米分辨率的,但是其他波段是20米和60米的,这就需要pansharpening了,所以我们需要设计一种算法来进行解决. 先把哨兵2的参数贴上来吧: 通常pansharpening方法,都是一个全色波段提供空间信息,其他低分辨率多光谱波段提供光谱信息,然后将两者进行融合,这样就得到了高分辨率多光谱影像,但是这里有一个问题,就是哨兵影像有四个“全色”波段,能不能都用到呢? 这里贴上一篇2018年的哨兵影像pansha…

本文转载自:https://my.oschina.net/u/3837179/blog/1920756 在ubuntu中配置GPU的深度学习环境相较于win问题要多很多,这几天琢磨了一下Ubuntu下的环境配置,参考很多人的博客,也遇到了不少坑,好不容易配置成功了,希望写下来,和大家分享,避免大家走弯路.环境的配置主要是nvidia显卡驱动的安装,在驱动安装的过程中遇到了问题,可以参考博客后面的问题解决方案,主要步骤就是装nvidia驱动,然后是安装cuda和cudnn,这两个一般问题不大.配置…

论文标题:Siamese Neural Networks for One-shot Image Recognition 论文作者: Gregory Koch   Richard Zemel Ruslan Salakhutdinov 论文地址:https://www.cs.cmu.edu/~rsalakhu/papers/oneshot1.pdf 声明:小编翻译论文仅为学习,如有侵权请联系小编删除博文,谢谢! 小编是一个机器学习初学者,打算认真研究论文,但是英文水平有限,所以论文翻译中用到了Goo…

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/u010899985/article/details/81836299 梯度下降算法针对凸优化问题原则上是可以收敛到全局最优的,因为此时只有唯一的局部最优点.而实际上深度学习模型是一个复杂的非线性结构,一般属于非凸问题,这意味着存在很多局部最优点(鞍点),采用梯度下降算法可能会陷入局部最优,这应该是最头疼的问题.这点和进化算法如遗传算法很…

一. abstract 这些年来,目标检测取得了令人瞩目的成就.尽管改进很大,但对于小目标和大目标的检测性能差异还是蛮大的.我们在 MS COCO 数据集上分析了如今一个比较先进的算法,Mask-RCNN.我们发现小目标的 GT 和检测框之间 IOU 远小于期望的阈值(比如0.5).我们推测这是由于两个因素: 1) 包含小目标的图片的数量忒少, 2) 即使每张图片里都有小目标,这些小目标在整图中占比也太少了.因此我们建议对这些包含小目标的图像进行 oversample,并通过多次复制粘贴小目标的…

本文用户记录黄埔学院学习的心得,并补充一些内容. 课程2:十行代码高效完成深度学习POC,主讲人为百度深度学习技术平台部:陈泽裕老师. 因为我是CV方向的,所以内容会往CV方向调整一下,有所筛检. 课程主要有以下三个方面的内容: 深度学习POC的基本流程 实用预训练模型应用工具快速验证 通用模型一键检测 十行代码完成工业级文本分类 自动化调参AutoDL Finetuner 一.深度学习POC的基本流程 1.1  深度学习发展历程 2006年,这一年多伦多大学的Geoffrey Hinton教授…