PBS(Protable Batch System)是功能最为齐全,历史最悠久,支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS,PBS Pro和Torque三个主要分支。其中OpenPBS是最早的PBS系统,目前已经没有太多后续开发,PBS pro是PBS的商业版本,功能最为丰富。Torque是Clustering公司接过了OpenPBS,并给与后续支持的一个开源版本。

几个常用命令:

  1.qsub(提交作业)

  例:

  qsub -l mem=20g,vmem=20g -l nodes=fat03 -l nodes=1:ppn=1 -l walltime=144:00:0 -V -joe -q fat -d /data/nfs/fat/home/ test.sh

  也可写成:(把所有-l的参数可以合并一起,以逗号分隔)

  qsub -l mem=20g,vmem=20g,nodes=fat03,nodes=1:ppn=1,walltime=144:00:0 -V -joe -q fat -d /data/nfs/fat/home test.sh

  

  qsub常用参数

  -l 指定作业所需要的资源,设定对可消耗资源的限制。如果不设置,则无限制。

  -l mem=220g,vmem=220g(根据文件大小、文件处理方式、计算复杂情况自行估计)

  mem 任务的所有进程能够分配到的最大物理内存数;

  vmem任务的所有进程能够使用的最大虚拟内存数;

  -l nodes=fat03

  指定节点名字

  -l nodes=1:ppn=10(有时软件内部会有设置线程的参数,实际运行时,两者取最小)

  指定使用节点数及线程数

  -l walltime=144:00:0

  指定运行最长时间,walltime指钟表时间(作业的实际运行时间=walltime/线程数)

  -V -joe -q fat -d

  -V 表明qsub命令的所有环境变量都export到此作业

  作用: 以脚本文件的形式向批处理服务器提交作业

  -joe错误日志和运行日志输出到同一个文件下

  -q指定作业的目的地(结点池),此处指定为fat节点

  -d 路径,作业输出文件产生路径(每一个作业都会产生一个 文件名.o作业号,该文件出现在-d指定的路径中)

  2.qstat(查看作业状态,作业结束一段时间后查看不到)

  查看作业状态:R运行、Q排队、C终止(可能是结束、也可能是出错中断)

  提交作业会在指定目录下产生.oXXXX文件(例如test.sh.o106972),文件内包含程序运行的输出信息,及错误信息,可根据文件内容判断作业是否是正常结束

  

  3.qdel(kill作业)

  kill已提交作业

  qdel 作业号

  qdel 106970

  4.tracejob(查看作业情况,作业结束之后仍能查看)

  tracejob –n 查找天数 job_id

  tracejob –n 10 106972(查找10天内的记录,寻找106972的作业信息)

  tracejob 106972不加时间参数,查找当天作业

  在返回结果中会显示提交任务的设置信息,及程序运行时的内存和时间实际使用信息

  

  5.qnodes(查看节点状态)

  qnodes | less查看节点状态

  根据节点可用情况指定作业提交节点

  

  qnodes | grep job_id

  提交作业未指定节点时,可以使用qnodes结合grep job_id方式查看作业分配的节点

  

torque提交作业的更多相关文章

  1. Spark源码系列(一)spark-submit提交作业过程

    前言 折腾了很久,终于开始学习Spark的源码了,第一篇我打算讲一下Spark作业的提交过程. 这个是Spark的App运行图,它通过一个Driver来和集群通信,集群负责作业的分配.今天我要讲的是如 ...

  2. eclipse 提交作业到JobTracker Hadoop的数据类型要求必须实现Writable接口

    问:在eclipse中的写的代码如何提交作业到JobTracker中的哪?答:(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect() ...

  3. Coursera无法正常提交作业

    如下图,upload服务貌似被墙了,想要提交作业的话需要临时科学上网.

  4. Spark集群之yarn提交作业优化案例

    Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...

  5. 《实时控制软件设计》之Github提交作业步骤

    在掌握GIT/GITHUB基本操作后,接下来把第一次的编程作业提交到 https://github.com/RTCSD15/HOMEWORK1 ,把第二次的编程作业提交到https://github. ...

  6. 如何使用git 提交作业 收作业

    如何使用git 提交作业 收作业 方法论: 今天就来用一个通俗易懂的自然模型来解释Git的commit,pull和push.不过,我们首先要理解两个名词,remote,local. remote,翻译 ...

  7. oozie 重新提交作业

    在oozie的运行过程当中可能会出现错误,比如数据库连接不上,或者作业执行报错导致流程进入suspend或者killed状态,这个时候我们就要分析了,如果确实是数据或者是网络有问题,我们比如把问题解决 ...

  8. oozie java api提交作业

    今晚试验用java的api来提交代码,由于代码是在我机器上写的,然后提交到我的虚拟机集群当中去,所以中间产生了一个错误..要想在任意一台机器上向oozie提交作业的话,需要对hadoop的core-s ...

  9. 2017-2018-1 20155305 《信息安全系统设计基础》第四周学习总结(课堂提交作业未来得及提交码云链接myod补充博客)

    2017-2018-1 20155305 <信息安全系统设计基础>第四周学习总结(课堂提交作业未来得及提交码云链接myod补充博客) 课堂提交题目要求 编写MyOD.java 用java ...

  10. git 提交作业流程

    git 提交作业流程,主要分为4个步骤 # 拉取远程git最新版本到本地,每次都可以先执行这条命令,因为会有其他同学更新仓库 git pull # add需要上传的文件,那个文件修改或者新增的,就ad ...

随机推荐

  1. 一个docker容器中只运行一个Service

    基于单一原则,一个容器里只运行一个主进程,即一个service(进程)做成一个docker镜像.多个进程在一个容器里有很多弊端,比如一个主进程更新时,其他进程也被迫重启.容器=应用+执行应用的环境 而 ...

  2. 微信小程序、uniapp、vue生命周期钩子函数

    生命周期是指从创建到销毁的过程 一.微信小程序 小程序里面有两种生命周期函数,第一个:通过App()来注册一个小程序 ,第二个:通过Page()来注册一个页面 应用生命周期函数   app( ) ap ...

  3. Mysql数据库个人整理笔记

    数据类型 tinyint/smallint/int/bigint float double char/varchar date/time/datetime/timestamp DDL 数据库 crea ...

  4. MindSpore-2.4版本中的一些新特性

    技术背景 在前面的一篇博客中我们介绍了MindSpore-2.4-gpu的安装和其中可能出现的一些问题.这里我们在安装完成之后,可以尝试使用一些MindSpore新版本的特性.那么在安装之后,如果是使 ...

  5. Vulhub Apache Httpd漏洞复现

    目录 前言 多后缀解析漏洞 换行解析漏洞(CVE-2017-15715) 2.4.49 路径穿越漏洞(CVE-2021-41773) 2.4.50 路径穿越漏洞(CVE-2021-42013) SSR ...

  6. python获取zabbix监控项图形

    python获取zabbix图形 通过zabbix的api接口获取指定时间段的监控项图形 图片示例: 代码示例: # -*- coding: UTF-8 -*- #可根据监控项获取zabbix下所有主 ...

  7. ArcGIS遥感影像重采样操作及不同算法对比

      本文介绍在ArcMap软件中,实现栅格图像重采样的具体操作,以及不同重采样方法的选择依据.   在之前的博客中,我们介绍了基于Python中Arcpy模块对栅格图像加以批量重采样的方法:而在Arc ...

  8. Understanding ANTLR Grammar Files

    Are you confused by all the different sections of an Antlr grammar file, wondering what each one doe ...

  9. Linux之新增硬盘,分区,挂载

    1.新增硬盘后, 查看当前磁盘信息 fdisk -l 可以看到除了当前的第一块硬盘(sda)外还有一块sdb的第二块硬盘(sdb),然后用命令: fdisk /dev/sdb  给第二块硬盘进行分区 ...

  10. seldom-platform颠覆传统的自动化测试平台

    1. 传统的自动化测试平台 近些年,中等以上规模的公司测试团队都在建设自己的自动化测试平台.主要要以 HTTP接口测试 和 性能测试 为主:一些平台还支持 Web UI测试和App UI测试等,试图通 ...