相关的代码都在Github上,请参见我的Github,https://github.com/lijingpeng/deep-learning-notes 敬请多多关注哈~~~ All in one docker 如果你不想单独安装每个深度学习组件,并且厌倦于安装过程中的各种依赖冲突等问题,那么推荐你使用Docker来搭建深度学习工作环境.下面是一个可以参考的 All in one docker 环境.几乎包含了所有的流行的深度学习框架,并且分别有CPU版本和GPU版本,与虚拟机不同的是,Dock

一.神经网络为什么比传统的分类器好 1.传统的分类器有 LR(逻辑斯特回归) 或者 linear SVM ,多用来做线性分割,假如所有的样本可以看做一个个点,如下图,有蓝色的点和绿色的点,传统的分类器就是要找到一条直线把这两类样本点分开. 对于非线性可分的样本,可以加一些kernel核函数或者特征的映射使其成为一个曲线或者一个曲面将样本分开.但为什么效果不好,主要原因是你很难保证样本点的分布会如图所示那么规则,我们无法控制其分布,当绿色的点中混杂几个蓝色的点,就很难分开了,及时用曲线可以分开,这

基准数据集 深度学习中经常会使用一些基准数据集进行一些测试.其中 MNIST, Cifar 10, cifar100, Fashion-MNIST 数据集常常被人们拿来当作练手的数据集.为了方便,诸如 Keras.MXNet.Tensorflow 都封装了自己的基础数据集,如 MNIST.cifar 等.如果我们要在不同平台使用这些数据集,还需要了解那些框架是如何组织这些数据集的,需要花费一些不必要的时间学习它们的 API.为此,我们为何不创建属于自己的数据集呢?下面我仅仅使用了 Numpy 来

一.可视化方法 条形图 饼图 箱线图(箱型图) 气泡图 直方图 核密度估计(KDE)图 线面图 网络图 散点图 树状图 小提琴图 方形图 三维图 二.交互式工具 Ipython.Ipython notebook Plotly 三.Python IDE类型 PyCharm,指定了基于Java Swing的用户界面 PyDev,基于SWT的用户界面(适用Eclipse) IEP(Interactive Editor for Pyhton),交互式编辑器 Enthought中的Canopy:以PyQt

.Matlab 2015 64bit 的安装 (一)安装包下载 百度网盘: [https://pan.baidu.com/s/1gf9IeCN], 密码: 4gj3 (二)Vmware 使用Windows共享目录 更改虚拟机设置时需要将系统关机,挂起状态不可以设置,Linux共享目录位于/mnt/hgfs (三) 挂载镜像文件 在Terminal中输入如下命令: cd /mnt/hgfs/ sudo mount -o loop 迅雷下载/R2015b_glnxa64.iso /media/mat

1. caffe 网络结构可视化 http://ethereon.github.io/netscope/quickstart.html 将网络结构复制粘贴到左侧的编辑框,按Shift+Enter就可以显示出你的网络结构 2. caffe计算图片的均值 使用caffe自带的均值计算工具 ./build/tools/compute_image_mean ROOT_OF_IMAGES  ROOT_TO_PLACE_MEAN_FILE 第一个参数:需要计算均值的图片路径,格式为LMDB训练数据 第二个参

MINIST手写数据集 压缩包版: http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-uby

​ 背景: 实验室给我分配了一个服务器 已经装好了docker 和nvidi docker . 现在我的目标是创建我自己的docker 然后在我自己的docker里装上anaconda环境. 我以前从没用过linux.所以对这一切都是迷迷茫茫不知其所以然.所以一些拙见还请不要见笑.也是整合了很多大佬的.(我是挂了VPN的,所以没有用过国内镜像,如果你发现哪里下不动东西了 可以搜搜怎么加入国内镜像源) 我的理解 docker 就是一个操作系统的模板.然后在服务器输入 docker images ​

原文链接:https://yq.aliyun.com/topic/111 本文是对原文内容中部分概念的摘取记录,可能有轻微改动,但不影响原文表达. 01 - 一入侯门"深"似海,深度学习深几许 什么是"学习"? "如果一个系统,能够通过执行某个过程,就此改进了它的性能,那么这个过程就是学习". 学习的核心目的,就是改善性能. 什么是机器学习? 定义1: 对于计算机系统而言,通过运用数据及某种特定的方法(比如统计的方法或推理的方法),来提升机器系统

1 神经传递的原理 人类的神经元传递及其作用: 这里有几个关键概念: 树突 - 接受信息 轴突 - 输出信息 突触 - 传递信息 将其延伸到神经元中,示意图如下: 将上图整理成数学公式,则有 y = activation function( x1*w1 + x2*w2 + x3*w3 + b ) 相应说明: x - 输入值,仿真输入神经元,上图中有:x1.x2.x3 w - 权重值,仿真输入神经元轴突,传送信息,上图中有:w1.w2.w3 b - 偏差值,仿真接受神经元树突,代表接受神经元容易被

TensorFlow 这个不用多介绍了吧,大家都知道,Google的开源深度学习软件库,官网点这里:https://www.tensorflow.org/ 当然这个工具官方支持装在 Ubuntu 和 Mac OS X 上,想要在 Windows 下使用,就需要借助 Docker 了,看了几篇相关的 Blog,都有点过时了. 安装步骤 获取Docker for Windows 10 Professional or Enterprise 64-bit:https://www.docker.com/ 

https://github.com/chenyuntc/pytorch-book/blob/v1.0/chapter5-常用工具/chapter5.ipynb 希望大家直接到上面的网址去查看代码,下面是本人的笔记 在训练神经网络过程中,需要用到很多工具,其中最重要的三部分是:数据.可视化和GPU加速.本章主要介绍Pytorch在这几方面的工具模块,合理使用这些工具能够极大地提高编码效率. 1.数据处理 PyTorch提供了几个高效便捷的工具,以便使用者进行数据处理或增强等操作,同时可通过并行化

原文作者:aircraft 原文链接:https://www.cnblogs.com/DOMLX/p/9769301.html Keras是什么? Keras:基于Theano和TensorFlow的深度学习库 Keras是一个高层神经网络API,Keras由纯Python编写而成并基Tensorflow.Theano以及CNTK后端.Keras 为支持快速实验而生,能够把你的idea迅速转换为结果,如果你有如下需求,请选择Keras: 简易和快速的原型设计(keras具有高度模块化,极简,和可

本教程搭建集 Tensorflow.Keras.Coffe.PyTorch 等深度学习框架于一身的环境,及jupyter. 本教程使用nvidia-docker启动实例,通过本教程可以从一个全新的Ubuntu系统快速搭建出GPU深度学习环境. 一.安装依赖环境 1. 使用国内镜像加速安装 https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/此处默认环境:ubuntu16.04LTS sudo mv /etc/apt/sources.list /etc

深度学习中常用linux命令总结 1.创建文件夹 mkdir 文件名2.删除文件 rm -d 目录名 #删除一个空目录 rmdir 目录名 #删除一个空目录 rm -r 目录名 #删除一个非空目录 rm 文件名 #删除文件3. cd ..代表上一级目录 cd ~代表HOME目录 cd -代表前cd 一目录4.复制文件到指定目录 cp -r 要复制的 复制到5.pwd 显示工作的路径6.cat file1 从第一个字节开始正向查看文件的内容 7.vim编译器的使用流程: 1)vim -- 进入文件

深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [1]---监督学习和无监督学习"中我们介绍了监督学习和无监督学习相关概念.本文主要介绍神经网络常用的损失函数. 以下均为个人学习笔记,若有错误望指出. 神经网络常用的损失函数 pytorch损失函数封装在torch.nn中. 损失函数反映了模型预测输出与真实值的区别,模型训练的过程即让损失函数不断减小,最终得到可以拟合预测训练样

服务器搭建远程docker深度学习环境 本文大部分内容参考知乎文章 Docker+PyCharm快速搭建机器学习开发环境 搭建过程中出现ssh连接问题可以查看最后的注意事项 Docker Docker是一种容器技术,类似于虚拟机,但比虚拟机更轻便.Docker容器内的应用程序直接运行于宿主的内核,而没有自己的内核,而且也没有硬件虚拟.更多Docker的相关知识可以看<Docker-从入门到实践>. Deepo Deepo是一个包含一系列Docker镜像的项目,这些镜像中包含了TensorFlo

常用深度学习框--Caffe/ TensorFlow / Keras/ PyTorch/MXNet 一．概述 近几年来,深度学习的研究和应用的热潮持续高涨,各种开源深度学习框架层出不穷,包括TensorFlow,Keras,MXNet,PyTorch,CNTK,Theano,Caffe,DeepLearning4,Lasagne,Neon,等等.Google,Microsoft等商业巨头都加入了这场深度学习框架大战,当下最主流的框架当属TensorFlow,Keras,MXNet,PyTorch

事后补充比较全面的(找对资料真的省一半功夫):https://www.jianshu.com/p/5b708817f5d8?from=groupmessage Ubuntu16.04 + 1080Ti深度学习环境配置教程 ———————————————————————————————————————————— 以下是自己搭建环境时,所参考的有用资料: Anaconda完全入门指南 https://www.jianshu.com/p/eaee1fadc1e9 ubuntu16.04安装Anacon

前两个月参加了学校的国创项目,和一个外院的同学组队.课题是基于深度学习的新闻图片中网络暴力元素的检查. 6月末最后一门试考完,正式开始暑假,便有了大把时间搞这个国创项目(反正没有其他事干).两个组凑钱买了服务器.实验室的师兄老早告诉我们,配环境是第一步,我们可能要搞很久.下面总结一下配环境中获得的经验. 首先是要有独立的环境,因为github上的代码有些是python2.7有些是3.6,需要的包的版本也不同.于是乎我参考网上的教程pip安装了一个conda.有了conda之后就可以进行独立的环境