高通量计算框架HTCondor(三)——使用命令

目录

  • 1. 目录
  • 2. 进程
  • 3. 命令
    • 3.1. condor_q
    • 3.2. condor_status
    • 3.3. conodr_submit
    • 3.4. conodr_rm
  • 4. 相关

1. 目录

HTCondor环境配置完成后,安装文件目录如下:

其中bin目录里面存放了一系列condor_开头的可执行程序,正是通过这些指令程序来实现分布式计算的。其中有个GUI程序condor_birdwatcher.exe,打开后运行界面如下:

从程序名称可以看出这是个查看器程序,分别显示condor_q与condor_status的输出信息。

execute目录是程序执行目录,当集群运行时,会把程序、数据等发送到该目录中运行。

condor_config是HTCondor的配置文件,也就是上一章配置的环境都保存在这个文件中。一些更加高级的功能,可以通过修改这个配置文件来实现。

2. 进程

HTCondor环境配置完成后,服务项会启动一个condor服务:

默认这个服务是延迟启动的,一旦启动就会运行一系列condor_开头的后台进程:

这些后台进程的具体功能可以参考HTCondor的文档。其中,发送的计算任务程序会进一步封装成condor_exec,在任务机器运行。

3. 命令

HTCondor可以在命令提示符中运行一系列condor_开头的命令(与bin目录中的可执行程序对应),其中最重要的命令有以下几个:

3.1. condor_q

显示的是当前任务队列中任务的运行情况:

此时由于没有提交任务,所以显示为空。

3.2. condor_status

显示的是当前计算机集群中计算资源的情况:

可以里面连接了两台机器,172_17_0_3是申请的远端云主机,DESKTOP-OVH是本机的机器,每一个CPU核心都算作一个计算资源。

3.3. conodr_submit

提交任务命令。HTCondor通过一个任务描述文件来提交任务,提交后会返回一个任务ID。具体的命令为:

conodr_submit 任务描述文件路径

第一次提交任务时,一般会有如下提示:

这时可以通过以下命令,并输入本机密码,将证书添加到HTCondor的证书管理中心中即可:

3.4. conodr_rm

通过任务ID,删除特定的任务:

conodr_rm 任务ID

一般来说,通过以上简单的命令,就可以完成初步的分布式计算。

4. 相关

上一篇
目录
下一篇

原文地址:https://www.cnblogs.com/charlee44/p/12231485.html

时间: 2024-11-07 22:51:32

高通量计算框架HTCondor(三)——使用命令的相关文章

高通量计算框架HTCondor(五)——分布计算

目录 1. 正文 1.1. 任务描述文件 1.2. 提交任务 1.3. 返回结果 2. 相关 1. 正文 1.1. 任务描述文件 前文提到过,HTCondor是通过condor_submit命令将提交任务的,这个命令需要提供一个任务描述文件.这个任务描述文件详细描述了任务运行的需求情况,如下所示: universe = vanilla requirements = (Arch == "INTEL" || Arch == "X86_64") && (O

实时计算框架之二:Storm之入门实例

预备.开火.瞄准-- 1 总结与提升 自1月份来,可谓是浮浮荡荡,一波三折呀. 先是参加了公司组织的创意马拉松大赛,虽说24小时内完成了作品,但是自己感觉上效果很差,自然成绩也是不高.通过这24小时持续的奋斗以及后来的各种产品描述等环节,发现了开发上的许多缺点.首先,对我们的产品进行了深入的认识和了解,也在产品之上,发现了更多可以发展走向成功的点子,这是我觉得最棒的一点:其次,短时间内和队员进行协作交流,生成产品,这之间的沟通非常重要:第三,选择C++作为24小时创作的语言,开发效率相对而言是非

开源图计算框架GraphLab介绍

GraphLab介绍 GraphLab 是由CMU(卡内基梅隆大学)的Select 实验室在2010 年提出的一个基于图像处理模型的开源图计算框架,框架使用C++语言开发实现.该框架是面向机器学习(ML)的流处理并行计算框架,可以运行在多处理机的单机系统.集群或是亚马逊的EC2 等多种环境下.框架的设计目标是,像MapReduce一样高度抽象,可以高效执行与机器学习相关的.具有稀疏的计算依赖特性的迭代性算法,并且保证计算过程中数据的高度一致性和高效的并行计算性能.该框架最初是为处理大规模机器学习

MapReduce计算框架

MapReduce计算框架 一.MapReduce实现原理 图展示了MapReduce实现中的全部流程,处理步骤如下: 1.用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M),在集群上执行处理程序,见序号1 2.主控程序master分配Map任务和Reduce任务给工作执行机器worker.见序号2 3.一个分配了Map任务的worker读取并处理输入数据块.从数据片段中解析出key/value键值对,然后把其传递给Map函数,由Map函数生成并输出中间key/va

一文读懂大数据计算框架与平台

1.前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中统

测序总结,高通量测序名词

主要来自 :http://mp.weixin.qq.com/s/iTnsYajtHsbieGILGpUYgQ 测序的黄金标准:一代测序了,故称之为黄金测序. 高通量测序最近这几年很火越来越火,但是世界上更多的还是一帮天天做分子克隆.养细胞.养细菌.杂蛋白的生物学家,究其原因Sanger测序还是测序届的金标准,由于精确度高于2.3代测序且保持大白菜价格使之地位稳固. 应用范围:De Novo测序.重测序: 如突变检测.SNPs.插入.缺失克隆产物验证.比较基因组.分型: 如微生物和真菌鉴定.HLA

[.NET网格计算框架] Alchemi

Alchemi [.NET网格计算框架] 是 一个以使用简易为目的的Windows下的网格计算框架.它提供了:a)开发网格软件的编程环境 和 b)建造网格和运行网格软件的运行机制.       Alchemi提供了软件合成的弹性.你可以使用强劲的网格线型模式以任何.NET支援的语言写网格软件. 或者把现有的软件以编程或宣布的方式改成网格软件. 建造同一水平网格(捆绑群)只要在一台电脑上安装Alchemi Manager和在每一台网格电脑上安装Alchemi Executor. 这一弹性的模式使E

Spark Streaming实时计算框架介绍

http://www.cnblogs.com/Leo_wl/p/3530464.html 随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐.用户行为分析等. Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API.基于内存的高速执行引擎,用户可以结合流式.批处理和交互试查询应用.本文将详细介绍Spark Streaming实时计算框架的原理与特点.适用场景. Spar

Oracle学习笔记三 SQL命令

SQL简介 SQL 支持下列类别的命令: 1.数据定义语言(DDL) 2.数据操纵语言(DML) 3.事务控制语言(TCL) 4.数据控制语言(DCL)               下面是这四种SQL语言的详细笔记: Oracle学习笔记三 SQL命令(二):SQL操作语言类别 Oracle数据类型 创建表时,必须为各个列指定数据类型 以下是 Oracle 数据类型的类别: 字符数据类型 CHAR类型 当需要固定长度的字符串时,使用 CHAR 数据类型. CHAR 数据类型存储字母数字值. CH