Awesome Knowledge Distillation 2018-07-19 10:38:40  Reference:https://github.com/dkozlov/awesome-knowledge-distillation Papers Combining labeled and unlabeled data with co-training, A. Blum, T. Mitchell, 1998 Model Compression, Rich Caruana, 2006 Dar

ubantu16.04+mxnet +opencv+cuda8.0 环境搭建 建议:环境搭建完成之后,不要更新系统(内核) 转载请注明出处: 微微苏荷 一 我的安装环境 系统:ubuntu16.04 显卡:gt940m python: 2.7.12 GCC:5.3.0 (ubuntu 默认是5.4, 关于降级,后边有叙述) 二 安装步骤 (一) gcc降级 (可选/安装opencv2.4.13则必选) 根据需要,opencv安装时提示,gcc 不支持5.3以上版本,所以降级. 方法1:5.4 =

原文:https://github.com/dmlc/mxnet/issues/797 神经网络本质上是一种语言,我们通过它来表达对应用问题的理解.例如我们用卷积层来表达空间相关性,RNN来表达时间连续性.根据问题的复杂性和信息如何从输入到输出一步步提取,我们将不同大小的层按一定原则连接起来.近年来随着数据的激增和计算能力的大幅提升,神经网络也变得越来越深和大.例如最近几次imagnet竞赛的冠军都使用有数十至百层的网络.对于这一类神经网络我们通常称之为深度学习.从应用的角度而言,对深度学习最重

安装完MXNet之后,运行了官网的手写体识别的例子,这个相当于深度学习的Hello world了吧.. http://mxnet.io/tutorials/python/mnist.html 运行的过程中开始想的是新建一个文件夹专门存放我的工程,但是在导入mxnet的过程中又出现了错,于是将minist的脚本文件放在了与mxnet平行的目录下,可以运行,并且十分节省显存!!但是有以下的问题: 1.在GTX1080的显卡上训练,网络是不收敛的,但是在980或者更旧的显卡上就可以,在github上也

今天尝试安装windows版本的MXNET,在按照官网的运行了python的setup之后,import mxnet时出现如下错误:cannot import name libinfo,在网上查找发现别人也遇到过,大致的原因是dll没有找到,参考网上的说明,将dll全部放在D:\MXNet\python目录下,然后在此目录下运行该命令,则可以正常导入. 如果按照官网的说明,是将mxnet包安装在了anaconda的sitepackages目录中的,也就是在随便一个目录下执行import mxne

第一次用卷积,看的别人的模型跑的CIFAR-10,不过吐槽一下...我觉着我的965m加速之后比我的cpu算起来没快多少..正确率64%的样子,没达到模型里说的75%,不知道问题出在哪里 import numpy as np import os import mxnet as mx import logging import cPickle def unpickle(file): with open(file,'rb') as fo: dict = cPickle.load(fo) return

反正基本上是给自己看的,直接贴写过注释后的代码,可能有的地方理解不对,你多担待,看到了也提出来(基本上对未来的自己说的),三层跑到了97%,毕竟是第一个例子,主要就是用来理解MXNet怎么使用. #导入需要的模块 import numpy as np #numpy只保存数值,用于数值运算,解决Python标准库中的list只能保存对象的指针的问题 import os #本例子中没有使用到 import gzip #使用zlib来压缩和解压缩数据文件,读写gzip文件 import struct

使用自己准备的mnist数据集,将0-9的bmp图像分别放到0-9文件夹下,然后用mxnet训练. 1.制作rec数据集 (1).制作list

本来不想写这些玩意,但是老是纠缠安装环境,索性自己记一下. 我是在别人的基础上增加的,所以比较全. 裸机开始安装: 1.基本依赖的安装 sudo apt-get update sudo apt-get install -y build-essential git libblas-dev libopencv-dev apt-get install libatlas-base-dev 2.下载mxnet git clone --recursive https://github.com/dmlc/mx

最近在摸mxnet和tensorflow.两个我都搭起来了.tensorflow跑了不少代码,总的来说用得比较顺畅,文档很丰富,api熟悉熟悉写代码没什么问题. 今天把两个平台做了一下对比.同是跑mnist,tensorflow 要比mxnet 慢一二十倍.mxnet只需要半分钟,tensorflow跑了13分钟. 在mxnet中如何开跑? cd /mxnet/example/image-classification python train_mnist.py我用的是最新的mxnet版本.运行脚

code { white-space: pre } div.sourceCode { } table.sourceCode,tr.sourceCode,td.lineNumbers,td.sourceCode { margin: 0; padding: 0; vertical-align: baseline; border: none } table.sourceCode { width: 100%; line-height: 100% } td.lineNumbers { text-align

(markdown是用jupypter notebook生成) mxnet为的提高IO效率, 不会直接读取图片文件, 而是先将图片列表和标签转换为RecordIO格式的二进制文件, 训练时就可以顺序读取数据, 大大提高了IO速率. 如何将图片列表与标签转换为RecordIO? mxnet直接提供了mnist与cifar数据集的recordIO格式, 但为了熟悉这个过程, 我决定自己手动来一遍: 将mnist数据的原始二进制格式转换为recordIO格式. 如何将mnist ubyte文件转换成i

mxnet底层的代码是cpp写的, 然后在它上面封装提供了R, python, scala和matlab的接口. 我现在只关注python. 如何使用mxnet的python接口? 自然是通过import来实现了. import mxnet as mx 但是import之前必须先把mxnet/python路径加到search path里. 至少有三种方式可以实现. python代码手动加载 import os, sys; cur_path = os.path.abspath(os.path.di

普通目录 R-package, R语言API, 因为用的python, 所以对R暂时不感兴趣 amalgamation, 将整个mxnet库打包成一个文件, 以方便直接在客户端调用, 如Android, JS, IOS. cmake, 用于构建Makefile. 我以前搭建环境时直接修改config.mk, 没用过cmake. 稍微查了下, 大概应该是能自动找到依赖库的位置, 如CUDA, BLAS. 具体的还不了解. docker. 用于构建mxnet的docker镜像. 目前也只知道dock

安装mxnet还是遇到不少麻烦事,现在简单记一下,挖个坑,后续详细补充,打算写一下我的mxnet探索之旅. 更新: 具体安装mxnet,cuda,opencv过程已经补坑——点击进入 不知道为什么,在cuda7.5+ubuntu14.04amd64 + opencv2.4.13时,会显卡驱动有问题,无法显示桌面.但是可以正常使用.后续我改为16.04+cuda8.0rc+opencv2.4.13,解决了桌面显示问题且正常使用,但是在想把opencv2.4.13换为opencv3.10时,编译op

安装环境:Win 10 专业版 64位 + Visual Studio 2015 Community. 记录下自己在有GPU的环境下安装配置MXNet的过程.该过程直接使用MXNet release 的 pre-built 包,没有自己使用CMake编译.网上有很多自己编译的教程,过程都比较繁琐,直接使用release包对新手来说更加简单方便. 选择MXNet的原因是因为看了<Caffe.TensorFlow.MXNet三个开源库的对比>这篇博文,其中指出MXNet相对来说是最易上手的深度学习

市面上流行着各式各样的深度学习库,它们风格各异.那么这些函数库的风格在系统优化和用户体验方面又有哪些优势和缺陷呢?本文旨在于比较它们在编程模式方面的差异,讨论这些模式的基本优劣势,以及我们从中可以学到什么经验. 我们主要关注编程模式本身,而不是其具体实现.因此,本文并不是一篇关于深度学习库相互比较的文章.相反,我们根据它们所提供的接口,将这些函数库分为几大类,然后讨论各类形式的接口将会对深度学习编程的性能和灵活性产生什么影响.本文的讨论可能不只针对于深度学习,但我们会采用深度学习的例子来分析和优

项目链接:https://github.com/dmlc/mxnet 因为要做一些开发工作,prebuilt的lib不能满足需求.由于工作环境要求是windows,所以可以利用cmake工具来构建. 下载cmake,使用Cmake_Gui,选择项目目录等.由于atlasblas是默认选项,而atlas在windows下不好编译,需要用cygwin和mingw,所以我们选择openblas(可以用visual studio编译),下载prebuilt的binaries,并对相应的目录进行修改(li

构成符号: 符号对我们想要进行的计算进行了描述, 下图展示了符号如何对计算进行描述. 下图定义了符号变量A, 符号变量B, 生成了符号变量C, 其中, A, B为参数节点, C为内部节点! mxnet.symbol.Variable可以生成参数节点, 用于表示计算时的输入. 一个Symbol具有的属性和方法如下图所示: 对神经网络进行配置: 一个Symbol的list_argument()属性可以用来检查计算图的输入参数; list_output()属性可以返回此Symbol的所有输出! 输出的

本文是MXNet的官网案例: Train MLP on MNIST. MXNet所有的模块如下图所示: 第一步: 准备数据 从下面程序可以看出,MXNet里面的数据是一个4维NDArray. import mxnet as mx # mxnet.io.MXDataIter, shape=(128,1,28,28) train = mx.io.MNISTIter( image = '/home/zhaopace/MXNet/mxnet/example/adversary/data/train-im