一.LightGBM介绍 LightGBM是一个梯度Boosting框架,使用基于决策树的学习算法.它可以说是分布式的,高效的,有以下优势: 1)更快的训练效率 2)低内存使用 3)更高的准确率 4)支持并行化学习 5)可以处理大规模数据 与常见的机器学习算法对比,速度是非常快的 二.XGboost缺点 在讨论LightGBM时,不可避免的会提到XGboost,关于XGboost可以参考此博文 关于XGboost的不足之处主要有: 1)每次迭代训练时需要读取整个数据集,耗时耗内存: 2)使用Ba

1.报错:“db_lmdb.hpp:14] Check failed:mdb_status ==0(112 vs.0)磁盘空间不足.” 这问题是由于lmdb在windows下无法使用lmdb的库,所以要改成leveldb. 但是要注意:由于backend默认的是lmdb,所以你每一次用到生成的图片leveldb数据的时候,都要把“--backend=leveldb”带上.如转换图片格式时: 又如计算图像的均值时: 还有在.prototxt中 data_param { source: "./mys

一.深度学习中常用的调节参数 本节为笔者上课笔记(CDA深度学习实战课程第一期) 1.学习率 步长的选择:你走的距离长短,越短当然不会错过,但是耗时间.步长的选择比较麻烦.步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优 一般来说,前1000步,很大,0.1:到了后面,迭代次数增高,下降0.01,再多,然后再小一些. 2.权重 梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大 对于梯度消失现象:激活函数 Sigmo

Beholder is a TensorBoard plugin for viewing frames of a video while your model trains. It comes with tools to visualize the parameters of your network, visualize arbitrary arrays like gradients. Beholder是一个TensorBoard插件,用于在模型训练时查看视频帧. 它具有可视化网络参数的工具,

一个典型的SGD过程中,一个epoch内的一批样本的平均梯度与梯度方差,在下图中得到了展示. 无论什么样的网络结构,无论是哪一层网络的梯度,大体上都遵循下面这样的规律: 高信号/噪音比一段时间之后,信号/噪音比逐渐降低,收敛速度减缓,梯度的方差增大,梯度均值减小. 噪音增加的作用及其必要性会在另一篇文章中阐述,这里仅讨论噪音的产生对于模型收敛速度能够产生怎样的影响. 首先定义模型收敛速度:训练后期,噪音梯度导致权重更新时,导致系统新增的熵 H(混乱度)对于SGD迭代次数 t 的导数. 对于第k层

一.问题 使用deeplearning4j进行GPU训练时,可能会出现java.lang.UnsatisfiedLinkError: no jnicudnn in java.library.path错误. 二.错误 15:43:26.389 [main] INFO org.nd4j.linalg.api.ops.executioner.DefaultOpExecutioner - Backend used: [CUDA]; OS: [Windows 10] 15:43:26.390 [main]

本机使用的 GPU 是 GeForce 840M,2G 显存,本机内存 8G. 试验时,使用 vgg 网络,调整 vgg 网络中的参数,使得使用对应的 batch_size 时不会提示内存溢出.使用的是 mnist 数据集,图片尺寸是28×28.结果如下: # batch_size = 1 # 参数总数:5946134 # batch_size = 32 # 参数总数:5262436 # batch_size = 64 # 参数总数:4770788 # batch_size = 100 # 参数

论文笔记:Densely Connected Convolutional Networks(DenseNet模型详解) 2017年09月28日 11:58:49 阅读数:1814 [ 转载自http://www.yyliu.cn/post/7cabb4ff.html ] CVPR 2017上,清华大学的Zhuang Liu.康奈尔大学的Gao Huang和Kilian Q.Weinberger,以及Facebook研究员Laurens van der Maaten 所作论文Densely Con

理解dropout from:http://blog.csdn.net/stdcoutzyx/article/details/49022443 http://www.cnblogs.com/tornadomeet/p/3258122.html 开篇明义,dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃.注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络. Dropout是指在模型训练时随机让网络某些

# 安装 2.7 环境conda create -n python2. python= conda activate python2. # 安装 1.1.0 gpu版本pip # 配置环境变量export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64:/usr/local/cuda-8.0/ex

控制台输出图案--banner 之前用vs开发时,也可以自己设置编译时控制台打印出的图案,我们管它叫banner. 给idea设置banner 先见一下效果图 还有重磅的 好了.其实设置这个很简单.分为三步 第一步:(目前只测试了springboot项目,如果其它项目可能不灵哦) 在/src/main/resources 下新建一个banner.txt 第二步:寻找生成字符的网站获得字符 (提供一个:http://patorjk.com/software/taag) 第三部:粘贴在banner.

1.训练太慢 用nimibatch代替fullbatch https://www.cnblogs.com/guoyaohua/p/8724433.html 2.过拟合 最直接的解决过拟合问题的办法是增加训练数据量 使用dropout层 3.损失率波动不下降,欠拟合(梯度消失) Batch Normalization 4.训练开始时后出现损失函数值为nan(梯度爆炸) 学习率太大

公司的手游项目,使用的是基于cocos2d-x绑lua的解决方案(参数quick-x的绑定),虽然使用了lua进行开发,更新很爽了,但是崩溃依然较为严重,从后台查看崩溃日志时,基本上只能靠"猜"来复现bug.更为郁闷的是很多时候并没有使用log输出,在崩溃日志里还无法查看大概在哪一步操作崩溃的-   后来在网上搜索了一下,受到一点启发,lua代码在执行的时候可随时调用debug.traceback()方法来获得调用栈的字符串信息,如下图所示:   而c++导出方法给lua调用,是使用t

现在一直在用TensorFlow训练CNN和LSTM神经网络,但是训练期间遇到了好多坑,现就遇到的各种坑做一下总结 1.问题一;训练CNN的时候出现nan CNN是我最开始接触的网络,我的研究课题就是利用CNN,LSTM等网络对人体动作做识别.动作数据来源于手机的加速度计,做动作的人在固定位置携带手机并做特定动作,实验人员接收手机的加速度计数值并打上特定的动作标签. 在训练CNN网络时一共遇到两处坑,一是遇到在训练期间遇到nan错误,这个错误很常见.nan的错误多源于你的学习率设置的太大或者ba

当使用Keras API 训练模型时,训练时报错? UnknownError (see above for traceback): Failed to get convolution algorithm. This is probably because cuDNN failed to initialize 在运行手写体数字识别的过程的中报错如上. 那么该如何解决这个问题呢? 其实很简单: 原因是兼容问题,tensorflow的版本过高而和安装的cudnn(我的是7.0)和cuda(我的是9.0

NativeXml实例训练: 1)使用NativeXml操作xml文件时,需要将几个单元文件在Library中引用,配置好这个后面的就可自由训练.或按照自己想要的组合折腾.       2)运行程序调试时,在编码时声明变量.创建对象后,本来应该出现提示的却没出现提示,      a. 注意检查:是否漏掉了声明.或变量名在编码中不是我们声明的那个变量      b. 忘记创建了实例,或引用实例的层结构不对,或者引用了不是我们声明的那个实例      c. 开始引用了某个单元,但是在声明时不出现那个

在训练keras时,发现不使用GPU进行计算,而是采用CPU进行计算,导致计算速度很慢. 用如下代码可检测tensorflow的能使用设备情况: from tensorflow.python.client import device_lib print(device_lib.list_local_devices()) 查看是否只有CPU可用,发现不是,有GPU可用,但是为什么GPU利用率极低并且只有一个GPU在使用,另一个GPU利用率为0, 发现在启动时有一行报错: Could not load

1. 首先是提取 训练日志文件; 2. 然后是matlab代码: clear all; close all; clc; log_file = '/home/wangxiao/Downloads/43_attribute_baseline.log'; fid = fopen(log_file, 'r'); fid_accuracy = fopen('/home/wangxiao/Downloads/output_accuracy.txt', 'w'); fid_loss = fopen('/hom

一.概述 要想实现字符启动,需要修改grub.cfg(启动配置文件),将“静态启动”改为“字符启动”. 但是grub.cfg通常只作为只读文件,修改它时实际上修改的是其他的文件然后再通过update-grub命令更新到此文件上. 二.相关文件说明 1./boot/grub/grub.cfg grub.cfg的开头注释内容如下: ## DO NOT EDIT THIS FILE## It is automatically generated by grub-mkconfig using templ

打印时间: 开始: {DateTime.Now.ToString()} 结束: {DateTime.Now.ToString()} 搜索 复制

记: 这里用到了printf("%*s%s%*s\n",n-i,"",arr,n-i,"");的写法, 其中%*s中的*代表该字符串s的个数,s为给字符串, 这写法一般用在打印中 AC代码: #include <stdio.h> #define MAX 50 int main(void) { int i,n; ]; scanf("%d",&n); sprintf(arr,"%s",&qu