SGE:qsub/qstat/qdel/qhost 任务投递和监控

参考:

Oracle Grid Engine

qsub命令

SGE - qsub使用范例

SGE作业基本用法

qsub是最为稳定的底层任务投递系统,就是把一个脚本投递到集群的计算节点上运行。

注意,只有登录节点才有资格投递任务,计算节点没有权限投递任务,只能执行,所以千万不要在投递的脚本内嵌套投递,会报错的。

下面是我最为常用的投递命令:

qsub -cwd -l vf=5g -P 任务单元 -q 队列名

先逐条解释:

-cwd: 就是 current working directory,从当前的目录开始执行作业,也就是log文件会写到当前目录;如果不加cwd的话,就会默认输出到用户的 home 目录。如果你想指定输出目录的话,就可以使用wd命令,log会输出到你指定的目录。

-l:resource=value, 表明作业运行所需要的资源。可以看到我们后面指定了预估内存 vf=5g,一般不用指定 CPU 数。注意,实际这个没什么卵用,很少有集群能严格限制用户的内存使用,vf 只会影响你投递的效率,有人就会钻空子,尽量把内存往低了投,尽快排上。这一部分其实就是个道德约束。

-P:大型组织里会分团队,分项目,不同的项目需要制定项目名,主要是为了后期方便统计计算资源的消耗,算钱,其实这个命令没卵用。

-q:指定队列名,这个就非常重要了,队列就是计算机的队列,一个队列只有一些特定的计算节点,你投了哪个节点,你就只能用该节点指定的计算资源。

待续~

时间: 2024-10-13 07:55:53

SGE:qsub/qstat/qdel/qhost 任务投递和监控的相关文章

sge的简单的应用

1.sge提交脚本qsub 1.qsub work.sh work.sh 不能以数字开头 2.qsub work.sh  默认工作路径为/home/username 3.qsub -cwd work.sh  为当前路径 -wd 为指定路径! 4.qsub -cwd -l vf=*G -q all.q *.sh -cwd 表示在当前路径下投递,sge的日志会输出到当前路径.  -l vf=*G 任务的预估内存,内存估计的值应稍微大于真实的内存,内存预估偏小可能会导致节点跑挂. -q 指定要投递到的

qsub使用方法

环境: SGE管理主机:192.168.1.12 SGE提交主机,执行主机:192.168.1.10,192.168.1.12,192.168.1.15 管理主机启动服务,ps能过滤出俩个sge服务表示启动成功: [[email protected] ~]# /etc/init.d/sgemaster.BrainCluster start    starting sge_qmaster [[email protected] ~]# /etc/init.d/sgeexecd.BrainCluste

SGE学习笔记

命令: qsub   -  submit a batch job to Grid Engine. qsh    -  submit an interactive X-windows session to Grid Engine. qlogin -  submit an interactive login session to Grid Engine. qrsh   -  submit an interactive rsh session to Grid Engine. qalter -  mod

实现signal和slot机制(2)-跨线程投递

前言 在1中,我们实现了一个基础的signal+slot的模块件调用机制,不过那个direct调用,在这篇中,我们将支持夸线程调用,即在对象的线程上下文中,调用对象的函数. 对象线程绑定 在qt中,有一个很重要的概念,对象线程绑定,即在每个对象实例时候,其保存其线程上下文信息,其中就有一个事件循环,跨线程的信号就是将这个一个task丢到这个事件循环中,在对象绑定的线程中完成slot响应. 实现 对slot调用的打包-Task 我们需要将一个跨线程的slot调用打包成一个task,然后丢到想相应的

[DIOCP3-IocpTask说明书]基于IOCP引擎的多线程任务的投递和回调处理单元

[说明] IocpTask是基于Iocp引擎的多线程任务投递和处理单元,可以方便的把任务进行投递到IOCP线程进行统一调度和处理,是模仿QDAC-QWorker的处理方式,支持D7以上的版本. [使用方法] 使用上很简单,下面解释一种比较全面的方法: procedure PostATask(pvTaskWork:TOnTaskWork; pvTaskData:Pointer = nil; pvRunInMainThread:Boolean = False; pvRunType:TRunInMai

公网无法向内网投递邮件

[背景] 完成了Exchange Server 2010 邮件同版本迁移测试,防火墙重新进行了端口地址映射,但是通过公网邮箱向内部邮箱投递邮件时,报如下错误 : 针对此问题进一步测试是否为Exchange Server 2010 自身邮件投递有问题,进行了如下测试: 内部与内部之间互发正常 内部向公网邮箱投递正常 公网邮箱向内部邮箱投递不正常 [解决方法] 通过上述报错及测试来看,问题原因应该是发生在了Exchange Server接收连接器上,而发送连接器是正常的,因为向公网邮箱投递邮件正常,

关于Exchange 邮件投递流介绍

Exchange Server 服务器在NLB模式下邮件外投时邮件投递采用的IP是VIP还是由SMTP服务器直接外投的测试,测试结果为,外投时不走VIP,而是直接由SMTP服务器外投,邮件接收时,由VIP接收进来,详细测试结果如下: 资源类型 资源承载业务类型 IP地址 备注 PEKDC1-CHS-01.contoso-corp.com CAS&HUB二合一角色,提供OWA.SMTP等功能,为mail.contoso-corp.com域名下实际节点服务器 10.1.100.4   PEKDC1-

关于企业用户邮箱向外投递邮件时提示"554.5.7.1 Access denied"

昨天,有同事联系说自己的邮箱无法向公网邮箱投递邮件,而其他同事则正常,在收到这个故障报告后,我在用户客户端尝试向公网邮箱投递,确认用户所提到的问题确实存在,报错截图如下: 当看到554.5.7.1报错时,靠经验来看应该是一个配置问题导致的,而一般常见于SMTP验证问题导致,好接下来我来看看用户的邮箱配置: 哦?这里还真没有勾选呀-.,由于用户配置的是POP模式,正常配置我们都会勾选这项的,而这里未勾选,所以我们把这项勾选上,勾选完成后,再测试发送公网邮箱,已经可以正常发送了. 虽然这个问题很简单

Postfix邮件网关投递邮件报“fatal: open database /etc/postfix/transport.db: No su

今天完成了Postfix邮件网关的配置,配置完成后,尝试进行邮件投递时,发现未收到投递的邮件,当时第一想法,先看看邮件队日志是否有记录,利用如下命令查看时时日志. [[email protected] Postfix_Conifgure]# tail -f /var/log/maillog 发现了如下报错:   看来是找不到transport.db文件,那么利用如下命令执行生成即可: 首先,来检查transport究竟有几个文件及属性是什么?如下: [[email protected] post