Slurm任务调度系统部署和测试(1)

1. 概述
1.1 节点信息
2. 节点准备
3. 部署NTP服务器
4. 部署LDAP服务器
5. 部署Munge认证服务
6. 部署Mysql数据库服务
6. 部署slurm
6.1 slurm下载
6.2 解压编译安装

1. 概述

slurm任务调度系统,主要应用在HPC集群资源管理和任务调度。具体信息参见slurm官方网站:https://slurm.schedmd.com/

部署Slurm任务调度系统,需要部署NTP内网时间同步服务器,LDAP全局认证服务器,Mysql数据库服务器

本篇博客主要记录如何部署和使用slurm任务调度系统。

1.1 节点信息

节点主机名 操作系统 主机地址 主机角色
node11 centos6.5_x86_64 192.168.10.11 主控制器
node12 centos6.5_x86_64 192.168.10.12 备控制器
node13 centos6.5_x86_64 192.168.10.13 数据存储主控制器
node14 centos6.5_x86_64 192.168.10.14 数据存储备控制器
node15 centos6.5_x86_64 192.168.10.15 MySQL数据库服务器

2. 节点准备

本篇博客的节点,均有已经部署好NTP和LDAP服务客户端的node11克隆,减少部署过程的繁琐。

KVM克隆虚拟机,参见博客《KVM虚拟机管理——虚拟机克隆.md

博客园地址:https://www.cnblogs.com/liwanliangblog/p/9193910.html

根据博客内容指导,很容易克隆出其他几台虚拟机,提供slurm任务调度环境部署和测试。

3. 部署NTP服务器

笔记内链:《NTP服务部署和测试.md

博客园地址:https://www.cnblogs.com/liwanliangblog/p/9194004.html

NTP时间服务器部署完成之后,需要同步各个节点的时间。

注:对于节点的NTP同步,可以采用pdsh并行工具完成

pdsh并行工具安装和使用,参见笔记内链:《并行管理工具——pdsh.md

博客园地址:https://www.cnblogs.com/liwanliangblog/p/9194146.html

4. 部署LDAP服务器

笔记内链:《LDAP-openldap服务部署和测试(YUM安装).md

博客园地址:https://www.cnblogs.com/liwanliangblog/p/9193916.html

5. 部署Munge认证服务

笔记内链:《MUNGE服务部署和测试.md

博客园地址:https://www.cnblogs.com/liwanliangblog/p/9194032.html

6. 部署Mysql数据库服务

本篇博客在node15上安装MySQL数据库

笔记内链:《MySQL数据库安装和参数配置(YUM).md》

博客园:

6. 部署slurm

6.1 slurm下载

从slurm的官网下载地址:https://www.schedmd.com/downloads.php;即可下载最新版的slurm,本篇博客主要部署两个版本

  • slurm-16.05.3.tar.gz 该版本已经被官网废弃,本篇博客因为工作需要继续使用
  • slurm-17.11.7.tar.bz2 截至博客更新时的最新版本

6.2 解压编译安装

原文地址:https://www.cnblogs.com/liwanliangblog/p/9194244.html

时间: 2024-08-17 09:53:24

Slurm任务调度系统部署和测试(1)的相关文章

slurm-16.05.3任务调度系统部署与测试(1)

1.概述2.同步节点时间3.下载并解压文件4.编译安装munge-0.5.125.配置munge6.编译安装slurm-16.05.37.配置slurm8.配置MySQL数据库环境9.启动slurm集群10.总结 1.概述 本博客通过VMware workstation创建了虚拟机console,然后在console内部创建了8台kvm虚拟机,使用这8台虚拟机作为集群,来部署配置和测试slurm任务调度系统 配置为4核心CPU,8G内存,20G系统盘,20G数据盘挂载到/opt,10G数据盘挂载

LDAP-openldap服务部署和测试(YUM安装)

1. 概述2. 服务端部署过程2.1 软件包说明2.2 部署过程2.3 配置过程3. 测试4. 生成LDIF格式文件4.1 安装migrationtools工具4.2 用migrationtools生成ldif文件4.3 添加ldif到ldap数据库5. 日志配置5.1 openldap的日志级别5.2 配置日志功能6. 客户端配置6.1 基础环境准备6.2 配置nslcd客户端7. 添加系统用户7.1 添加用户7.2 产生ldif文件7.3 添加ldif文件至LDAP数据库中7.4 验证 1.

MDT2012部署系列之12 WDS之PXE启动系统部署

(十四).测试PXE启动系统部署 经过前面两个章节的WDS服务器安装与配置,我们完成了对于PXE启动的前期准备工作,下面我们来测试一下,从PXE启动进行系统的安装. 1.首先将对应的引导光盘移除,设置网络引导为第一启动项,在下图中我们可以看到对应的获得的IP地址,这时候我们按F12键从PXE启动 2.这时候我们可以看到刚刚添加的PE系统的映像名称,直接按回车 3.这里我们可以看到正在加载192.168.1.203下的x86.wim映像 4.这时候我们可以看到对应的WDS服务器的网络流量会大幅度提

“耐撕团队”部署并测试onezero团队记帐本项目

耐撕团队 对onezero团队记帐本项目的部署并测试 一.部署 1获取onezero团队项目源码及其相关资源(绘图jar包) 1.2项目导入Eclipse并连接手机运行 onezero项目的三层结构为三个分散项目,并未整体合并,在导入时要全部导入. 1.3手机中成功安装完成记账本软件 二.性能测试 1 评定该Andriod app当前性能,满足预期的性能需求: (1)添加支出信息功能: (2)摇一摇功能,随机摇取存入的信息记录: (3)统计某个时间段的消费类型信息,并以圆饼图的形式呈现: (4)

Elasticstack 5.1.2 集群日志系统部署及实践

Elasticstack 5.1.2 集群日志系统部署及实践 一.ELK Stack简介 ELK Stack 是Elasticsearch.Logstash.Kibana三个开源软件的组合,在实时数据检索和分析场合,三者通常是配合共用的. 可参考:https://www.elastic.co/products 二.Elasticstack重要组件 Elasticsearch: 准实时索引 Logtash: 收集数据,配置使用 Ruby DSL Kibana 展示数据,查询聚合,生成报表 Kafk

网上最新的devstack安装教程【一键部署openstack测试环境】

这段时间由于测试需要搭建openstack环境,搜遍谷歌百度进行不下30次尝试...看了陈沙克等前辈的安装教程,很多配置信息都已经过期了.不过大致的步骤基本不变,由于最近devstack在github更新频繁,可能很多功能被添加更新,源软件链接可能需要更改.下面给出这段时间安装的步骤(附最新源),希望对有需要进行一键部署openstack测试环境的朋友有帮助. 测试版本:Ubuntu 12.04.5 LTS 系统内核:Linux r10f17332.sqa.zmf 3.2.0-60-generi

Centos7 实战Kickstart 批量系统部署

1.kickstart 使用背景介绍大家想个问题,我们平时手动光盘安装一台linux系统的多久能完成?10分钟?半小时?1小时还是一上午?领导说小李明天到100台服务器你统一装成linux系统,周日交工.啊?100台?你是不是要哭了-- 于是乎,kickstart 自动化安装平台就诞生了,哇哈哈!2.kickstart 原理① PXE 客户端发送UDP广播请求 PXE 客户端从自己的PXE网卡启动,通过PXE BootROM(自启动芯片)会以UDP(简单用户数据报协议)发送一个广播请求,向本网络

OpenStack入门篇(九)之nova服务(控制节点)的部署与测试

1.Nova介绍 Nova是openstack最早的两块模块之一,另一个是对象存储swift.在openstack体系中一个叫做计算节点,一个叫做控制节点.这个主要和nova相关,我们把安装为计算节点成为:nova-compute,把除了nova-compute叫做控制节点.nova-compute是创建虚拟机的,只是创建虚拟机,所有的控制都在另一台上.OpenStack计算组件请求OpenStack Identity服务进行认证:请求OpenStack Image服务提供磁盘镜像:为OpenS

分布式工作流任务调度系统Easy Scheduler正式开源

分布式工作流任务调度系统Easy Scheduler正式开源 1.背景 在多位技术小伙伴的努力下,经过近2年的研发迭代.内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源发布版本 -- 1.0.0.相信做过数据处理的伙伴们对开源的调度系统如oozie.azkaban.airflow应该都不陌生,在使用这些调度系统中可能会有这样的体验:比如配置工作流任务不能可视化.任务的运行状态不能实时在线查看.任务运行时不能暂停.不能支持参数传递.不能补数.