矩池云将 keras 预训练模型保存目录为 /public/keras_pretrained_model/ 使用方法: 先执行命令,创建目录 mkdir -p ~/.keras/models/ 然后将预训练模型复制进去. 但是其中因为cifar-10的特殊之处所以只有cifar-10这个数据集需要对它进行改名才能正常使用 cp /public/keras_datasets/cifar-10-python.tar.gz ~/.keras/datasets/cifar-10-batches-py.t…

简介 nvidia-smi全称是NVIDIA System Management Interface ,它是一个基于NVIDIA Management Library(NVML)构建的命令行实用工具,旨在帮助管理和监控NVIDIA GPU设备. 详解nvidia-smi命令 接下来我介绍一下,用nvidia-smi命令来查询机器GPU使用情况的相关内容.​ nvidia-smi 我以上图的查询内容为例,已经复制出来了,如下, (myconda) root@8dbdc324be74:~# nvid…

这是 CVPR 2018 的一篇少样本学习论文:Learning to Compare: Relation Network for Few-Shot Learning 源码地址:https://github.com/floodsung/LearningToCompare_FSL 环境选用 Tensorflow 1.4 因为他是 cuda8 的. 切换conda源 bash /public/script/switch_conda_source.sh 创建虚拟python环境 conda creat…

https://github.com/kinfkong/ikatago-resources/tree/master/dockerfiles 从作者的库中可以看到,该程序支持cuda9.2.cuda10.cuda10.1.cuda10.2.cuda11.1等镜像,矩池云上的镜像基本上都可以满足他的要求,可以任意选用. 案例:用的cuda10.2的镜像 利用脚本安装 cd ~; /bin/bash -c "$(curl -fsSL https://ikatago-resources.oss-cn-b…

方法一(简单) 矩池云上的k80因为内存问题,请用其他版本的GPU去进行编译,保存环境后再在k80上用. 准备工作 下载dlib的源文件 进入python的官网,点击PyPi选项,搜索dilb,再点击release,便可以下载dlib的任何版本的源文件. 下载网站:https://pypi.org/project/dlib/#history 下载后上传到矩池云的网盘,可以查看矩池云怎么上传文件夹? 切换源 sh /public/script/switch_apt_source.sh 安装依赖 a…

这里我是用PyTorch 1.8.1来安装的 拉取仓库 官方仓库 git clone https://github.com/AlexeyAB/darknet 镜像仓库 git clone https://github.com.cnpmjs.org/AlexeyAB/darknet.git 安装opencv apt-get update apt-get install libopencv-dev -y 修改Makefile 在 /darknet/ 目录下找到 Makefile 进行修改 GPU=1…

FinRL-Libray 项目:https://github.com/AI4Finance-LLC/FinRL-Library 选择FinRL镜像 在矩池云-主机市场选择合适的机器,并选择FinRL-Library镜像. 登录服务器 在租用列表中查看服务器信息,有两种连接登录方式. JupyterLab登录: 浏览器访问JupyterLab链接. 进入FinRL-Library目录,选择相应的程序运行. 运行*.ipynb 选择相应的ipynb文件(如FinRL_ensemble_stock_t…

Tensorflow用户使用TensorBoard 矩池云现在为带有Tensorflow的镜像默认开启了6006端口,那么只需要在租用后使用命令启动即可 tensorboard --logdir logs --bind_all 或者 tensorboard --logdir logs 其中 logs 是 TensorBoard 的日志输出路径,您可以将其修改为您自己的路径. # 案例如下 tensorboard --logdir /mnt/logs/log --bind_all Pytorch用…

我选用的是cuda10.1纯镜像 案例来自paddlepaddle官方PaddleGAN库中,可以查看 https://github.com/PaddlePaddle/PaddleGAN/ https://github.com/wzmsltw/PaintTransformer 安装需要的软件包 apt-get install cuda-cusolver-dev-10-1 conda install paddlepaddle-gpu==2.1.2 cudatoolkit=10.1 --channe…

官方仓库:https://github.com/ultralytics/yolov5 官方文档:https://docs.ultralytics.com/quick-start/ 此案例我是租用了k80 镜像选择的是pytorch1.8.1 克隆仓库 git clone https://github.com/ultralytics/yolov5.git 这个地方我用了国内的镜像加速 https://github.com.cnpmjs.org/ultralytics/yolov5.git 安装需要…

关于源的加速和使用 bash /public/script/switch_conda_source.sh 输入想要切换的源前面的序号,然后按回车,源会自动切换. 当然这个地方需要注意的是如果遇到一些国内没有镜像的源可能需要在那个前面加上官方源 我这里以RAPIDS官方给出的命令为例 conda create -n rapids-21.10 -c rapidsai -c nvidia -c conda-forge \ rapids-blazing=21.10 python=3.7 cudatool…

选择cuda10.1的镜像 更新源及拷贝文件到本地 apt-get update cp -r /public/database/milvus/ / cd /milvus/ cp ./lib/* /usr/lib/ 安装mysql等必备的包 apt-get install mysql-server dpkg -i libmysqlclient-dev_5.6.25-0ubuntu1_amd64.deb libmysqlclient18_5.6.25-0ubuntu1_amd64.deb 安装lib…

使用的是P100,cuda11.1base镜像 创建虚拟环境 conda create -n py36 python=3.6 conda deactivate conda activate py36 安装依赖包 apt update apt-get install libopencv-dev libopenblas-dev libopenblas-base libhdf5-dev protobuf-compiler libgoogle-glog-dev libgflags-dev libprot…

选用CUDA10.0镜像 添加nvidia-cuda和修改apt源 curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/7fa2af80.pub | apt-key add - && \ echo "deb https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/ /" > /etc/apt/sources.list.d/c…

本教程租用的是2080ti,3.7多框架镜像. 添加nvidia-cuda的阿里源 curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/7fa2af80.pub | apt-key add - echo "deb https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/ /" > /etc/apt/sources.list.d/cuda.l…

租用机器添加默认端口 点击展开高级选项 点击添加端口配置 添加Visdom默认端口,选择 http 端口填入 8097 进入环境安装并使用 JupyterLab 链接 是本次实验用来安装实验的工具 HTTP 8097端口 链接 打开是你的Visdom了 安装 pip install visdom 启动 python -m visdom.server 注意 bash ioloop.install() # Needs to happen before any tornado imports! Che…

cuda版本可能对系统,驱动版本会有影响,修改之前需要先进行确认 1.检查系统版本 source /etc/os-release && echo $VERSION_ID 2.导入apt仓库和其GPG key # 第一步若输出 16.04 curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1604/x86_64/7fa2af80.pub | apt-key add - echo "deb https://mirrors.…

修改与之前修改nvcc.cuda这些的原理是一样的. 国内镜像 https://mirrors.cloud.tencent.com/nvidia-machine-learning/ 检查系统版本 source /etc/os-release && echo $VERSION_ID 导入apt仓库和其GPG key # 第一步若输出 16.04,请用下面的命令 curl -fsSL https://mirrors.cloud.tencent.com/nvidia-machine-learni…

国内镜像 https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1804/x86_64/ 检查系统版本 source /etc/os-release && echo $VERSION_ID 导入apt仓库和其GPG key # 第一步若输出 18.04,请用下面的命令 curl -fsSL https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu…

若您想要使用 nvcc,但是所选的镜像中没有预装 nvcc,可按照如下操作自行安装. 1.检查系统版本 source /etc/os-release && echo $VERSION_ID 2.导入apt仓库和其GPG key # 第一步若输出 16.04 curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1604/x86_64/7fa2af80.pub | apt-key add - echo "deb https:…

1.nohup 用途:不挂断地运行命令. 语法:nohup Command [ Arg - ] [ & ] 无论是否将 nohup 命令的输出重定向到终端,输出都将附加到当前目录的 nohup.out 文件中. 如果当前目录的 nohup.out 文件不可写,输出重定向到 $HOME/nohup.out 文件中. 如果没有文件能创建或打开以用于追加,那么 Command 参数指定的命令不可调用. 退出状态:该命令返回下列出口值: 126 可以查找但不能调用 Command 参数指定的命令. 12…

可以用下面的命令查看 cat /usr/local/cuda/version.txt 如果想用nvcc来查看可以用下面的命令 nvcc -V 如果环境内没有nvcc可以安装一下,教程是矩池云上如何安装nvcc 很多人会问为什么nvidia-smi里面的cuda会不一样,接下来我来介绍一下 可以看到环境内的CUDA 版本是10.2,而nvidia-smi的CUDA版本是10.0.很奇怪的是有时候绝大多数情况代码也能整成跑起来,stackoverflow上的一个解释如下: CUDA有两个主要的API…

在整个机器学习的过程中,配置环境一直是一个比较复杂的事情,今天介绍几种根据英伟达官方文档来配置环境的方法. 安装方案 https://gitlab.com/nvidia/container-images/cuda/ 国内同步镜像:https://gitee.com/zionfuo/cuda 安装脚本在dist目录下 选择cuda的版本号 矩池云上cuda8/cuda9使用的是ubuntu16.04,cuda10及以上都是ubuntu18.04 base:cuda安装方式 devel:nvcc等安…

矩池云是一个专业的国内深度学习云平台,拥有着良好的深度学习云端训练体验,和高性价比的GPU集群资源.而且对同学们比较友好,会经常做一些大折扣的活动,最近双十一,全场所有的RTX 2070.Platinum 8260机器打三折,以2070为例,充值150元原价只能使用30小时,打折后可以使用100小时. 当然这里要介绍的是矩池云新上线的私有云免费部署服务可以用来干什么.这里,我们用知乎上的一个问题"如何搭建多人共用的GPU服务器?"来介绍它. 通常情况下,课题组或实验室会自己购买多卡的G…

矩池云是一个专业的国内深度学习云平台,拥有着良好的深度学习云端训练体验.在性价比上,我们以 2080Ti 单卡为例,36 小时折扣后的价格才 55 元,每小时单价仅 1.52 元,属于全网最低价.用户体验上,平台为用户提供了公开数据集.案例.预装环境.高速网盘等配套设施和数据,让用户可以专注于深度学习研究. 高性价比 矩池云拥有很高的性价比,其的计费方式主要分为按时租与按周/月租.按时租用采用的是分钟级的实时计费模式,满足了用完即走的短时需要:按周/月租会以一个优惠的价格出租,可以满足长期租用的…

PuTTY 是一款开源的连接软件,用来远程连接服务器,支持 SSH.Telnet.Serial 等协议. 矩池云的主机支持 SSH 登录,以下为使用 PuTTY 连接矩池云 GPU 的使用教程. 如您使用 Xshell.SSH Secure Shell 等其他 SSH 协议的工具,也可参考本文. 在开始之前,请先租用一台矩池云机器. 矩池云租用教程请移步 矩池云租用教程. 矩池云提供网盘存储服务,您可先将数据集和脚本文件打包上传至网盘,提高上传速度,还能节省费用. 本教程使用密码登录方式连接 G…

Visual Studio Code(以下简称 VS Code)是一个由微软开发的代码编辑器.VS Code 支持代码补全.代码片段.代码重构.Git 版本控制等功能. VS Code 现已支持连接远程服务器功能,只要您本地安装有 SSH 程序,您就可在 VS Code 中,连接矩池云的机器. 矩池云租用教程 首先,您需要租用一台矩池云的 GPU. 矩池云租用教程请移步 矩池云租用教程. 矩池云提供网盘存储服务,您可先将数据集和脚本文件打包上传至网盘,提高上传速度,还能节省费用. 安装 VSCo…

温馨提示:本案例只作为学习研究用途,不构成投资建议. 比特币的价格数据是基于时间序列的,因此比特币的价格预测大多采用LSTM模型来实现. 长期短期记忆(LSTM)是一种特别适用于时间序列数据(或具有时间 / 空间 / 结构顺序的数据,例如电影.句子等)的深度学习模型,是预测加密货币的价格走向的理想模型. 本文主要写了通过LSTM进行数据拟合,从而预测比特币的未来价格. import需要使用的库 import pandas as pd import numpy as np from sklearn…

今天Tony老师给大家带来的案例是Kaggle上的Twitter的情感分析竞赛.在这个案例中,将使用预训练的模型BERT来完成对整个竞赛的数据分析. 导入需要的库 import numpy as np import pandas as pd from math import ceil, floor import tensorflow as tf import tensorflow.keras.layers as L from tensorflow.keras.initializers impor…

今天给大家介绍提升方法(Boosting), 提升算法是一种可以用来减小监督式学习中偏差的机器学习算法. 面对的问题是迈可·肯斯(Michael Kearns)提出的:一组"弱学习者"的集合能否生成一个"强学习者"? 弱学习者一般是指一个分类器,它的结果只比随机分类好一点点.强学习者指分类器的结果非常接近真值. 大多数提升算法包括由迭代使用弱学习分类器组成,并将其结果加入一个最终的成强学习分类器.加入的过程中,通常根据它们的分类准确率给予不同的权重.加和弱学习者之后…