HPC 高性能集群基础环境安装

HPC 基础环境配置

1.1、操作系统 配置
? 操作系统:redhat enterprise linuxt 6
? 管理节点:HOSTNAME:desktop IP:192.168.199.132
计算节点: HOSTNAME:c1 IP:192.168.199.133
HOSTNAME:c2 IP:192.168.199.134
? 网络配置:固定IP,各个节点互通
? 配置本地域名解析(所有节点):
将所有的节点的IP HOSTNAME 写入到 /etc/hosts 并分发到所有节点。

[[email protected] ~]# vim /etc/hosts
127.0.0.1 localhost
192.168.199.132 desktop
192.168.199.133 c1
192.168.199.134 c2

? 修改用户默认家目录:
[[email protected] ~]# vim /etc/default/useradd
HOME=/share/home

? 在所有节点关闭如下服务:
a) iptables: #关闭防火墙,避免端口不通。
[[email protected] ~]# iptables –F #清空防火墙策略
#设置开机关闭
[[email protected] ~]# chkconfig iptables off

b) selinux:
[[email protected] ~]# vim /etc/sysconfig/selinux
SELINUX=disabled #改为disabled,永久关闭
[[email protected] ~]# setenforce 0 #命令行关闭SElinux,即时生效

c) bmc-watchdog:
[[email protected] ~]# service bmc-watchdog stop
[[email protected] ~]# chkconfig bmc-watchdog off

d) certmonger:
[[email protected] ~]# service certmonger stop
[[email protected] ~]# chkconfig certmonger off

e) NetworkManager:
[[email protected] ~]# service NetworkManager stop
[[email protected] ~]# chkconfig NetworkManager off

1.2、 配置yum源
? 挂载光盘文件:
mount –t iso9660 –o loop rhel-server-6.8-x86_64-dvd.iso /mnt
? 将软件包拷贝到本地: cp -rf /mnt/* /share/software/rhel6
? 创建yum源配置文件:
[[email protected] ~]# vim /etc/yum.repos.d/rhel6.repo
[rhel-source]
name=Red Hat Enterprise Linux
baseurl=file:///share/apps/rhel6 #软件包存放目录
enabled=1 #启用
gpgcheck=0 #不进行gpg校验

[[email protected] ~]# yum clean all #清除所有缓存
[[email protected] ~]# yum makecache #构建缓存
? 验证:
[[email protected] ~]# yum install xxxx

1.3、NFS 安装配置
? 设置共享存储目录:
[[email protected] ~]# vim /etc/exports #设置挂载点
/share *(rw,no_root_squash,async)
? 启动nfs服务:
[[email protected] ~]# service nfs start
? 设置开机自动启动:
[[email protected] ~]# chkconfig nfs on
? 在所有计算节点挂载共享存储:
[[email protected] ~]# vim /etc/fstab #添加如下行,开机自动挂载
192.168.199.132:/share /share nfs defaults 0 0
? 验证:
[[email protected] ~]# mount –a #挂载/etc/fstab中所有挂载点
[[email protected] ~]# df –h #查看验证
Filesystem Size Used Avail Use% Mounted on
192.168.199.132:/share 18G 13G 4.3G 75% /share #挂载成功

1.4、NIS 安装配置
管理节点:
? 指定端口和NIS 域名:
[[email protected] ~]# yum install yp* #安装NIS服务
[[email protected] Desktop]# vim/etc/sysconfig/network
NISDOMAIN=altair #指定NIS服务域名
YPSERV_ARGS="-p 1011" #指定端口
[[email protected] Desktop]# vim /etc/sysconfig/yppasswdd
YPPASSWDD_ARGS="--port 1012" #指定端口
? 修改配置文件:
[[email protected] Desktop]# vim /etc/ypserv.conf

  • : none #开放NIS服务给所有主机
    ? 开启NIS服务:
    [[email protected] Desktop]# /etc/init.d/ypserv start #NIS主服务
    [[email protected] Desktop]# /etc/init.d/yppasswdd start #用于让NIS客户端可以直接修改密码的服务
    [[email protected] Desktop]# chkconfig ypserv on
    [[email protected] Desktop]# chkconfig yppasswdd on
    [[email protected] Desktop]# /usr/lib64/yp/ypinit –m #建立、更新NIS数据库
    计算节点:
    ? 选择一个计算节点通过图形界面来配置,配置好后将以下5个配置文件拷贝到所有计算节点,并启动 /etc/init.d/ypinit start 服务即可:
    /etc/sysconfig/network
    /etc/yp.conf
    /etc/sysconfig/authconfig
    /etc/pam.d/system-auth
    /etc/nsswitch.conf
    [[email protected] ~]# /etc/init.d/ypbind start
    [[email protected] ~]# chkconfig ypbind on
    ? 图形界面配置方式:
    [[email protected] ~]# yum install setuptool #安装setup
    [[email protected] ~]# yum install auth* #安装认证模块
    [[email protected] ~]# yum install ypbind #安装NIS客户端
    [[email protected] Desktop]# setup #选择第一个


选择:Use NIS

输入NIS服务节点(此处为管理节点)设置的域名、IP地址

保存退出
验证:
? 在计算节点上 id 管理节点上的用户(此用户在本机上不存在)
[[email protected] ~]# id pbsadmin
uid=500(pbsadmin) gid=500(pbsadmin) groups=500(pbsadmin)

1.5、SSH 配置
管理节点:
? 基于用户的ssh认证:
[[email protected] ~]# ssh-keygen #在管理节点生成公私密钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): # 全部按回车
将管理节点的公钥拷贝到所有计算节点:
[[email protected] .ssh]# cd /root/.ssh/
[[email protected] .ssh]# ssh-copy-id -i id_rsa.pub [email protected]
? 基于主机的ssh认证:
[[email protected] .ssh]# vim /etc/ssh/ssh_config #添加下面两行
HostbasedAuthentication yes #开启主机认证
EnableSSHKeysign yes #开启ssh签名支持
[[email protected] .ssh]# vim /etc/ssh/sshd_config #添加下面一行
HostbasedAuthentication yes #开启主机认证
[[email protected] .ssh]# /etc/init.d/sshd restart #重启sshd服务
[[email protected] .ssh]# vim /etc/ssh/ssh_hosts #写入所有节点的主机名,IP
localhost,127.0.0.1
desktop,192.168.199.132
c1,192.168.199.133
c2,192.168.199.134
[[email protected] .ssh]# vim /etc/ssh/shosts.equiv #写入所有节点的主机名,允许通过主机认证登陆本机的主机名称
localhost
desktop
c1
c2
[[email protected] ~]# cd /etc/ssh/
[[email protected] ssh]# ssh-keyscan -t rsa -f ssh_hosts > ssh_known_hosts2 # 生成ssh_known_hosts2 文件,获取所有节点的公钥
将/etc/ssh 目录下的四个文件拷贝到所有的计算节点:
ssh_config sshd_config
shosts.equiv ssh_known_hosts2
计算节点:
? 基于主机的ssh认证:
在所有的计算节点重启sshd 服务器:
[[email protected] ~]# /etc/init.d/sshd restart
验证:
? 在管理节点上 以root和普通用户ssh到计算节点,无需密码可以直接登录,则成功。

1.6、Atuofs 配置
? 计算节点配置:
[[email protected] ~]# mkdir {pbs,scratch} #新建目录
[[email protected] ~]# chmod 1777 /scratch/ #修改权限
[[email protected] ~]# vim /etc/exports
/scratch *(rw,no_root_squash,async)
[[email protected] ~]# /etc/init.d/nfs start
[[email protected] ~]# chkconfig nfs on
[[email protected] ~]# vim /etc/auto.master # /pbs挂载点,读取/etc/auto.pbs挂载配置文件
/pbs /etc/auto.pbs
[[email protected] ~]# vim /etc/auto.pbs #写入所有计算节点的映射目录,格式:hostname hostname:/scratch
c1 c1:/scratch
c2 c2:/scratch
[[email protected] ~]# /etc/init.d/autofs start
[[email protected] ~]# chkconfig autofs on
? 管理节点配置:
[[email protected] ssh]# mkdir pbs
[[email protected] ssh]# vim /etc/auto.master
/pbs /etc/auto.pbs
[[email protected] ssh]# vim /etc/auto.pbs #写入所有计算节点的映射目录,格式:hostname hostname:/scratch
c1 c1:/scratch
c2 c2:/scratch

1.7、 Samba配置安装
? 安装、启用Samba:
[[email protected] ~]# yum install samba –y
[[email protected] ~]# /etc/init.d/smb start
[[email protected] ~]# chkconfig smb on
? 在配置文件中添加:
[[email protected] ~]# vim /etc/samba/smb.conf
[share]
comment = share #说明
path = /share #共享目录
public = yes #公用
writable = yes #可写
create mode = 0770
directory mode = 0770
? 添加用户:
[[email protected] ~]# useradd test1 #添加系统用户
[[email protected] ~]# pdbedit -a test1 #添加samba用户
[[email protected] ~]# pdbedit –L #查看samba用户
[[email protected] ~]# /etc/init.d/smb reload #重新加载

原文地址:http://blog.51cto.com/4247601/2320681

时间: 2024-10-06 23:52:55

HPC 高性能集群基础环境安装的相关文章

mysql5.6部署集群基础环境

----------------------------- 部署集群基础环境 MySQL-MMM架构部署 MySQL-MMM架构使用 部署集群基础环境 192.168.4.10     master1 192.168.4.11     master2 192.168.4.12     slave1 192.168.4.13     slave2 192.168.4.100     monitor 使用5台mysql5.6 其中192.168.4.10.192.168.4.11作为mysql双主服

部署mysql集群基础环境

设置slave2为master1从:部署集群基础环境 1.1 问题 本案例要求为MySQL集群准备基础环境,完成以下任务操作: 数据库授权 部署MySQL双主多从结构 配置本机hosts解析记录 1.2 方案 使用4台RHEL 6虚拟机,如图-1所示.其中192.168.4.10.192.168.4.11作为MySQL双主服务器,192.168.4.12.192.168.4.13作为主服务器的从服务器. 图-1 1.3 步骤 实现此案例需要按照如下步骤进行. 步骤一:准备环境 [[email p

部署集群基础环境,MySQL-MMM架构部署,MySQL-MMM架构使用

部署集群基础环境 1.1 问题 本案例要求为MySQL集群准备基础环境,完成以下任务操作: 数据库授权 部署MySQL双主多从结构 配置本机hosts解析记录 1.2 方案 使用4台RHEL 6虚拟机,如图-1所示.其中192.168.4.10.192.168.4.11作为MySQL双主服务器,192.168.4.12.192.168.4.13作为主服务器的从服务器. 图-1 1.3 步骤 实现此案例需要按照如下步骤进行. 步骤一:准备环境 [[email protected] ~]# cat

Database基础(七):部署集群基础环境、MySQL-MMM架构部署、MySQL-MMM架构使用

一.部署集群基础环境 目标: 本案例要求为MySQL集群准备基础环境,完成以下任务操作: 数据库授权 部署MySQL双主多从结构 配置本机hosts解析记录 方案: 使用4台RHEL 6虚拟机,如下图所示.其中192.168.4.10.192.168.4.11作为MySQL双主服务器,192.168.4.12.192.168.4.13作为主服务器的从服务器. 步骤: 步骤一:准备环境 [[email protected] ~]# cat /etc/hosts    127.0.0.1   loc

实现MySQL读写分离 部署集群基础环境(有图)

实现MySQL读写分离 部署集群基础环境 1 实现MySQL读写分离1.1 问题 本案例要求配置2台MySQL服务器+1台代理服务器,实现MySQL代理的读写分离: 用户只需要访问MySQL代理服务器,而实际的SQL查询.写入操作交给后台的2台MySQL服务器来完成 其中Master服务器允许SQL查询.写入,Slave服务器只允许SQL查询 1.2 方案 使用4台RHEL 7.2虚拟机,如图-1所示.其中192.168.4.10.192.168.4.20分别作为MySQL主.从服务器,是整个服

高性能集群软件-----Keepalived 安装配置

keepalived介绍: Keepalived是Linux下轻量级的高可用的解决方案.Keepalived主要是通过虚拟路由冗余来实现高可用功能,具有部署和使用非常简单,只需一个配置文件即可.它是根据TCP/IP参考模型的第三,第四和第五层交换机检测到每个服务接点的状态,如果某个服务节点出现异常,或者出现故障,keepalived将检测到,并将出现故障的服务节点从集群中剔除,而在故障节点恢复后,keepalived又可以自动将此服务节点重新加入服务器集群中,这些工作全部自动完成,不需要人工干涉

elasticsearch7.5.0+kibana-7.5.0+cerebro-0.8.5集群生产环境安装配置及通过elasticsearch-migration工具做新老集群数据迁移

一.服务器准备 目前有两台128G内存服务器,故准备每台启动两个es实例,再加一台虚机,共五个节点,保证down一台服务器两个节点数据不受影响. 二.系统初始化 参见我上一篇kafka系统初始化:https://www.cnblogs.com/mkxfs/p/12030331.html 三.安装elasticsearch7.5.0 1.因zookeeper和kafka需要java启动 首先安装jdk1.8环境 yum install java-1.8.0-openjdk-devel.x86_64

【Mongodb】 Sharding Replica Sets 分片集群生产环境安装与介绍!

系统环境:Centos 6.5 官网手册:http://docs.mongodb.org/manual/ 参阅资料:<Mongodb权威指南><Mongodb实战><深入学习Mongodb> 由上方的官方拓扑可以看出,Sharding集群成员由Shard.ConfigServer.Router组成 Shard:可以是一个实例,官方推荐生产环境使用副本集Replica Set Config Server:为三台主机,当有1台或者2台Server当机,对于用户而言,集群还是

percona xtradb cluster 5.5集群生产环境安装之二

一.安装PXC要求 1.强烈推荐3个节点以上且硬件配置一样,一个节点性能受影响,整体受影响,遵循木桶效应 2.如果DDL语句有问题将破坏集群 3.创建数据库表引擎必须是INNODB,否则复合sql语句无法同步 4.创建数据库表必须要有主键索引,否则集群中有一台数据库会down掉 二.在线安装 yum remove -y mysql-libs rpm -qa |grep  Percona-Server |grep -v compat |xargs rpm -e --nodeps yum insta