矩池云 | 使用LightGBM来预测分子属性

今天给大家介绍提升方法(Boosting), 提升算法是一种可以用来减小监督式学习中偏差的机器学习算法. 面对的问题是迈可·肯斯(Michael Kearns)提出的:一组"弱学习者"的集合能否生成一个"强学习者"? 弱学习者一般是指一个分类器,它的结果只比随机分类好一点点.强学习者指分类器的结果非常接近真值. 大多数提升算法包括由迭代使用弱学习分类器组成,并将其结果加入一个最终的成强学习分类器.加入的过程中,通常根据它们的分类准确率给予不同的权重.加和弱学习者之后…

矩池云 | 利用LSTM框架实时预测比特币价格

温馨提示:本案例只作为学习研究用途,不构成投资建议. 比特币的价格数据是基于时间序列的,因此比特币的价格预测大多采用LSTM模型来实现. 长期短期记忆(LSTM)是一种特别适用于时间序列数据(或具有时间 / 空间 / 结构顺序的数据,例如电影.句子等)的深度学习模型,是预测加密货币的价格走向的理想模型. 本文主要写了通过LSTM进行数据拟合,从而预测比特币的未来价格. import需要使用的库 import pandas as pd import numpy as np from sklearn…

矩池云 | Tony老师解读Kaggle Twitter情感分析案例

今天Tony老师给大家带来的案例是Kaggle上的Twitter的情感分析竞赛.在这个案例中,将使用预训练的模型BERT来完成对整个竞赛的数据分析. 导入需要的库 import numpy as np import pandas as pd from math import ceil, floor import tensorflow as tf import tensorflow.keras.layers as L from tensorflow.keras.initializers impor…

矩池云 | 教你如何使用GAN为口袋妖怪上色

在之前的Demo中,我们使用了条件GAN来生成了手写数字图像.那么除了生成数字图像以外我们还能用神经网络来干些什么呢? 在本案例中,我们用神经网络来给口袋妖怪的线框图上色. 第一步: 导入使用库 from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf tf.enable_eager_execution() import numpy as n…

矩池云 | 神经网络图像分割：气胸X光片识别案例

在上一次肺炎X光片的预测中,我们通过神经网络来识别患者胸部的X光片,用于检测患者是否患有肺炎.这是一个典型的神经网络图像分类在医学领域中的运用. 另外,神经网络的图像分割在医学领域中也有着很重要的用作.接下来,我们要演示如何在气胸患者的X光片上,分割出气胸患者患病区的部位和形状. 那么就让我们来正式开始了. 第一步:导入需要的 Python 包 import sys import cv2 import pydicom import numpy as np import pandas as pd…

矩池云上使用nvidia-smi命令教程

简介 nvidia-smi全称是NVIDIA System Management Interface ,它是一个基于NVIDIA Management Library(NVML)构建的命令行实用工具,旨在帮助管理和监控NVIDIA GPU设备. 详解nvidia-smi命令接下来我介绍一下,用nvidia-smi命令来查询机器GPU使用情况的相关内容. nvidia-smi 我以上图的查询内容为例,已经复制出来了,如下, (myconda) root@8dbdc324be74:~# nvid…

矩池云里查看cuda版本

可以用下面的命令查看 cat /usr/local/cuda/version.txt 如果想用nvcc来查看可以用下面的命令 nvcc -V 如果环境内没有nvcc可以安装一下,教程是矩池云上如何安装nvcc 很多人会问为什么nvidia-smi里面的cuda会不一样,接下来我来介绍一下可以看到环境内的CUDA 版本是10.2,而nvidia-smi的CUDA版本是10.0.很奇怪的是有时候绝大多数情况代码也能整成跑起来,stackoverflow上的一个解释如下: CUDA有两个主要的API…

在矩池云上复现 CVPR 2018 LearningToCompare_FSL 环境

这是 CVPR 2018 的一篇少样本学习论文:Learning to Compare: Relation Network for Few-Shot Learning 源码地址:https://github.com/floodsung/LearningToCompare_FSL 环境选用 Tensorflow 1.4 因为他是 cuda8 的. 切换conda源 bash /public/script/switch_conda_source.sh 创建虚拟python环境 conda creat…

矩池云上安装yolov4 darknet教程

这里我是用PyTorch 1.8.1来安装的拉取仓库官方仓库 git clone https://github.com/AlexeyAB/darknet 镜像仓库 git clone https://github.com.cnpmjs.org/AlexeyAB/darknet.git 安装opencv apt-get update apt-get install libopencv-dev -y 修改Makefile 在 /darknet/ 目录下找到 Makefile 进行修改 GPU=1…

用端口映射的办法使用矩池云隐藏的vnc功能

矩池云隐藏了很多高级功能待用户去挖掘. 租用机器进入jupyterlab 设置vnc密码 VNC_PASSWD="userpasswd" ./root/vnc_startup.sh 这里我选择的密码是userpasswd,密码很重要,自己设置一个复杂一点的密码,带入到userpasswd里面. 查看vnc进程 ps aux | grep vnc 打开本地的cmd 输入命令启动 ssh -p 你的端口 -NL 5901:localhost:5901 root@hz.matpool.co…

矩池云上安装ikatago及远程链接教程

https://github.com/kinfkong/ikatago-resources/tree/master/dockerfiles 从作者的库中可以看到,该程序支持cuda9.2.cuda10.cuda10.1.cuda10.2.cuda11.1等镜像,矩池云上的镜像基本上都可以满足他的要求,可以任意选用. 案例:用的cuda10.2的镜像利用脚本安装 cd ~; /bin/bash -c "$(curl -fsSL https://ikatago-resources.oss-cn-b…

矩池云上编译安装dlib库

方法一(简单) 矩池云上的k80因为内存问题,请用其他版本的GPU去进行编译,保存环境后再在k80上用. 准备工作下载dlib的源文件进入python的官网,点击PyPi选项,搜索dilb,再点击release,便可以下载dlib的任何版本的源文件. 下载网站:https://pypi.org/project/dlib/#history 下载后上传到矩池云的网盘,可以查看矩池云怎么上传文件夹? 切换源 sh /public/script/switch_apt_source.sh 安装依赖 a…

如何在矩池云上运行FinRL-Libray股票交易策略框架

FinRL-Libray 项目:https://github.com/AI4Finance-LLC/FinRL-Library 选择FinRL镜像在矩池云-主机市场选择合适的机器,并选择FinRL-Library镜像. 登录服务器在租用列表中查看服务器信息,有两种连接登录方式. JupyterLab登录: 浏览器访问JupyterLab链接. 进入FinRL-Library目录,选择相应的程序运行. 运行*.ipynb 选择相应的ipynb文件(如FinRL_ensemble_stock_t…

使用 MobaXterm 连接矩池云 GPU服务器

Host Name(主机名):hz.matpool.com 或 hz-t2.matpool.com,请以您 SSH 中给定的域名为准. Port(端口号):矩池云租用记录里 SSH 链接里冒号后的几位数字,例如 42799. Specify username(用户名):root 最后选择ok 链接完成.…

矩池云上TensorBoard/TensorBoardX配置说明

Tensorflow用户使用TensorBoard 矩池云现在为带有Tensorflow的镜像默认开启了6006端口,那么只需要在租用后使用命令启动即可 tensorboard --logdir logs --bind_all 或者 tensorboard --logdir logs 其中 logs 是 TensorBoard 的日志输出路径,您可以将其修改为您自己的路径. # 案例如下 tensorboard --logdir /mnt/logs/log --bind_all Pytorch用…

矩池云升级JupyterLab版本教程

先使用 Xshell 连接矩池云 GPU服务器,可以查看教程. 要在base环境下执行,用下面命令 conda deactivate ps -aux | grep jupyter 我这个进程是616 kill -9 616 pip install -U jupyterlab 查看自己的 token 并运行 jupyter 进程 nohup jupyter lab --notebook-dir=/ --allow-root --no-browser --NotebookApp.token=${YO…

矩池云安装/修改 cuda、cudnn、nvcc、tensorRT 教程

在整个机器学习的过程中,配置环境一直是一个比较复杂的事情,今天介绍几种根据英伟达官方文档来配置环境的方法. 安装方案 https://gitlab.com/nvidia/container-images/cuda/ 国内同步镜像:https://gitee.com/zionfuo/cuda 安装脚本在dist目录下选择cuda的版本号矩池云上cuda8/cuda9使用的是ubuntu16.04,cuda10及以上都是ubuntu18.04 base:cuda安装方式 devel:nvcc等安…

矩池云上cifar10使用说明

矩池云将 keras 预训练模型保存目录为 /public/keras_pretrained_model/ 使用方法: 先执行命令,创建目录 mkdir -p ~/.keras/models/ 然后将预训练模型复制进去. 但是其中因为cifar-10的特殊之处所以只有cifar-10这个数据集需要对它进行改名才能正常使用 cp /public/keras_datasets/cifar-10-python.tar.gz ~/.keras/datasets/cifar-10-batches-py.t…

如何使用 PuTTY 远程连接矩池云主机

PuTTY 是一款开源的连接软件,用来远程连接服务器,支持 SSH.Telnet.Serial 等协议. 矩池云的主机支持 SSH 登录,以下为使用 PuTTY 连接矩池云 GPU 的使用教程. 如您使用 Xshell.SSH Secure Shell 等其他 SSH 协议的工具,也可参考本文. 在开始之前,请先租用一台矩池云机器. 矩池云租用教程请移步矩池云租用教程. 矩池云提供网盘存储服务,您可先将数据集和脚本文件打包上传至网盘,提高上传速度,还能节省费用. 本教程使用密码登录方式连接 G…

如何使用 VS Code 远程连接矩池云主机

Visual Studio Code(以下简称 VS Code)是一个由微软开发的代码编辑器.VS Code 支持代码补全.代码片段.代码重构.Git 版本控制等功能. VS Code 现已支持连接远程服务器功能,只要您本地安装有 SSH 程序,您就可在 VS Code 中,连接矩池云的机器. 矩池云租用教程首先,您需要租用一台矩池云的 GPU. 矩池云租用教程请移步矩池云租用教程. 矩池云提供网盘存储服务,您可先将数据集和脚本文件打包上传至网盘,提高上传速度,还能节省费用. 安装 VSCo…

矩池云助力科研算力免费上"云"，让 AI 教学简单起来

矩池云是一个专业的国内深度学习云平台,拥有着良好的深度学习云端训练体验,和高性价比的GPU集群资源.而且对同学们比较友好,会经常做一些大折扣的活动,最近双十一,全场所有的RTX 2070.Platinum 8260机器打三折,以2070为例,充值150元原价只能使用30小时,打折后可以使用100小时. 当然这里要介绍的是矩池云新上线的私有云免费部署服务可以用来干什么.这里,我们用知乎上的一个问题"如何搭建多人共用的GPU服务器?"来介绍它. 通常情况下,课题组或实验室会自己购买多卡的G…

矩池云 | 高性价比的GPU租用深度学习平台

矩池云是一个专业的国内深度学习云平台,拥有着良好的深度学习云端训练体验.在性价比上,我们以 2080Ti 单卡为例,36 小时折扣后的价格才 55 元,每小时单价仅 1.52 元,属于全网最低价.用户体验上,平台为用户提供了公开数据集.案例.预装环境.高速网盘等配套设施和数据,让用户可以专注于深度学习研究. 高性价比矩池云拥有很高的性价比,其的计费方式主要分为按时租与按周/月租.按时租用采用的是分钟级的实时计费模式,满足了用完即走的短时需要:按周/月租会以一个优惠的价格出租,可以满足长期租用的…

测评 | 矩池云上架 RTX 2080 Ti 八卡机开箱

大家好,福利君今天给给大家带来的是一则消息.矩池云将上架了超微八卡GPU服务器,全新的机器组合,可靠的服务品质. 产品性能在这里引用Lambda Labs基于FP32对多GPU扩展训练性能评测的数据. 两张RTX 2080 Ti是一张RTX 2080 Ti的1.8倍: 四张RTX 2080 Ti是一张RTX 2080 Ti的3.3倍: 八张RTX 2080 Ti是一张RTX 2080 Ti的5.1倍. 通过上述测评数据,可以看到多张RTX 2080 Ti并行计算带来的性能提升还是非常显著的.…

矩池云 | 搭建浅层神经网络"Hello world"

作为图像识别与机器视觉界的 "hello world!" ,MNIST ("Modified National Institute of Standards and Technology") 数据集有着举足轻重的地位.基本上每本人工智能.机器学习相关的书上都以它作为开始. 下面我们会用 TensorFlow 搭建一个浅层的神经网络来运行 "hello world!" 模型. 以下内容和模块的运算,均在矩池云平台进行. 本次教程分五步: 第一步:数…

矩池云 | 新冠肺炎防控：肺炎CT检测

连日来,新型冠状病毒感染的肺炎疫情,牵动的不仅仅是全武汉.全湖北,更是全国人民的心,大家纷纷以自己独特的方式为武汉加油!我们相信坚持下去,终会春暖花开. 今天让我们以简单实用的神经网络模型,来检测肺炎的CT影像. 第一步:导入我们需要的库 from keras.preprocessing.image import ImageDataGenerator, load_img from keras.models import Sequential from keras.layers import De…