什么是singularity容器 Singularity是劳伦斯伯克利国家实验室专门为大规模.跨节点HPC和DL工作负载而开发的容器化技术.具备轻量级.快速部署.方便迁移等诸多优势,且支持从Docker镜像格式转换为Singularity镜像格式.除了兼容docker的镜像之外,singularity还有一个不太明显的优势:可以通过非root帐号来拉起容器,这样对于某些安全性要求比较高的场景来说还是有用途的. 环境准备 目前singularity支持了redhat系列Linux发行版的二进制安装…

如何运行具有奇点的NGC深度学习容器 How to Run NGC Deep Learning Containers with Singularity 高性能计算机和人工智能的融合使新的科学突破成为可能.现在需要在同一个系统上同时部署HPC和AI工作负载. 支持HPC和AI工作负载所需的软件环境的复杂性是巨大的.应用软件依赖于许多相互依赖的软件包.仅仅获得一个成功的构建是一个挑战,更不用说确保构建得到优化,以利用最新的硬件和软件功能. 容器是一种广泛采用的降低HPC和AI软件部署复杂性的方法.整…

技术背景 容器化技术在各种生产领域已经得到了广泛的应用,这得益于容器的轻量化(相比于虚拟机而言),安全性(隔离弱于虚拟机,但是权限控制得当的情况下也可以认为是安全隔离的)以及系统级虚拟化带来的高可用性(基于NameSpace和cgroup).虽然现在各大平台的兼容性有趋同的势头,比如Windows推出了WSL子系统,使得用户在Windows机器上也可以很轻松的搭建Linux环境.但是容器依然保持着它的热度,这说明它的可用性并不是一个系统组件就可以替代的.前面几篇文章中我们介绍过Docker容器和…

技术背景 分布式和并行计算,在计算机领域是非常重要的概念.对于一些行外人来说,总觉得这是一些很简单的工作,但是如果我们纵观计算机的硬件发展史,从CPU到GPU,再到TPU和华为的昇腾(NPU),乃至当下的热点量子计算机(QPU),其实就是一个分布式与并行计算的发展史.从简单的数据并行,到算法并行,到图的并行,最后是量子叠加所带来的物理并行.因此能否做好分布式与并行的技术,很大程度上决定了一个工具的性能上限,本文我们一起来研究一下MindSpore分布式训练的方法. 环境部署 在前面的博客中,我们…

2020 年末,谷歌旗下 DeepMind 研发的 AI 程序 AlphaFold2 在国际蛋白质结构预测竞赛上取得惊人的准确度,使得" AI 预测蛋白质结构"这一领域受到了空前的关注.今天我们邀请到同领域企业,深势科技为大家分享其搭建基础平台时的实践与思考.AI 场景中的使用的数据有哪些新特点?混合云架构如何与超算平台结合?为何会选择 JuiceFS? 背景 深势科技成立于 2018 年,是 "AI for Science" 科学研究范式的先行者,致力于运用人工智…

[SinGuLaRiTy] Copyright (c) SinGuLaRiTy 2017.  All Rights Reserved. [CQBZOJ 2011] 计算系数 题目描述 给定一个多项式(ax + by)^k,请求出多项式展开后x^n y^m项的系数. 输入 共一行,包含 5 个整数,分别为a,b,k,n,m,每两个整数之间用一个空格隔开. 输出 输出共 1 行,包含一个整数,表示所求的系数,这个系数可能很大,输出对10007 取模后的结果. 样例数据 样例输入 样例输出 1 1 3…

[SinGuLaRiTy-1043] Copyright (c) SinGuLaRiTy 2017. All Rights Reserved. 桶排序 void bucketSort(int a[], int n, int max)//a[]为待排序数组,n为数组长度,max为数组中的最大值范围 { int i,j; int buckets[max]; // 将buckets中的所有数据都初始化为0. memset(buckets, , max*sizeof(int)); // 1. 计数 ;…

摘要: Docker和Kubernetes已经成为企业IT架构的基础设施,安全容器运行时越来越被关注.近期Docker 19.03中发布了一个重要的特性 “Rootless Container”,在提升容器的安全隔离性和可管理性方面前进了一大步. 近期Docker 19.03中发布了一个重要的特性 “Rootless Container支持”.趁着五一假期,快速验证一下.本文参考了Experimenting with Rootless Docker 一文的内容,并且补充了更多的细节和上手内容.…

1 背景 在GPU虚拟化和池化的加持下,可以显著提高集群的GPU利用率,同时也可以较好地实现弹性伸缩.但有时会遇到需要GPU资源再分配的场景,此时亟需集群拥有GPU任务热迁移的能力.举个简单的例子,比如某个新训练任务M需要独占8张A100,而集群中没有独立的A100资源,但总的A100的碎片资源超过了8张独立的A100资源,此时借助虚拟化.池化和热迁移有以下几种解决方案: 虚拟化:拆分任务M至n个独立的小任务,使其可以使用A100碎片资源 池化:拆分任务M至n个独立的小任务,使其可以使用A100…

写在前面: 继续docker的学习,学习了docker的基本常用命令之后,我在docker上安装jdk,tomcat两个基本的java web工具,这里对操作流程记录一下. 软件准备: 1.jdk-7u79-linux-x64.tar.gz 2.apache-tomcat-8.0.36.tar.gz 下载centos镜像:(下载centos这个过程极其漫长) # 启动docker服务 service docker start # 检索centos镜像 docker search centos #…