Openmpi 编译安装+集群配置 + Ununtu14.04 + SSH无密码连接 + NFS共享文件系统

来源

http://www.open-mpi.org/

网络连接

SSH连接,保证各台机器之间可以无密码登陆,此处不展开

hosts文件如下

1 #/etc/hosts
2 192.168.0.190   master
3 192.168.0.189   slave1
4 192.168.0.81    slave2
5 192.168.0.105   slave3
6 192.168.0.120   slave4

安装第一步

./configure --prefix=/home/hadoop/openmpi_install

注:prefix后面是安装路径

可能会出现configure失败,请参考以下软件是否安装(最好提示错误说缺了什么再装,不要都装了,这样更能了解真正需要哪些依赖)

1 sudo apt-get install build-essential(g++,gcc)
2 sudo apt-get install libibverbs-dev
3 sudo apt-get install libibmad-dev
4 sudo apt-get install libibumad-dev
5 sudo apt-get install byacc

安装第二步

make

安装第三步

make install

注:这条命令运行之后会真正往目标文件夹安装,如果想卸载,直接将安装目标文件夹删了就ok,这就是用prefix配置项的原因

配置环境变量

1 #vim ~/.bashrc
2 export MPI_HOME=/home/hadoop/openmpi_install
3 export PATH=$MPI_HOME/bin:$PATH
4 export LD_LIBRARY_PATH=$MPI_HOME/lib
5 export MANPATH=$MPI_HOME/share/man
6 #source ~/.bashrc

本机运行结果

1 mpicc hello_c.c -o hello.exe

注:examples在编译文件夹中可以看到,看到此结果说明本机安装已经完成,但是集群安装在ubuntu不能运行,老显示orted不能找到,经排查是环境变量的设置,具体设置如下

集群环境变量设置(/etc/environment)

1 #/etc/environment
2 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/home/hadoop/openmpi_install/bin"
3 LD_LIBRARY_PATH=/home/hadoop/openmpi_install/lib

然后运行就ok了,集群运行结果如下

注:机器名为:slave1-4,master(每台机器上都要有运行文件hello.exe),每次复制很麻烦,所以之后要弄个文件共享系统,接下来讲讲如何简便安装nfs

NFS文件系统安装

首先各台机器安装nfs(这里把slave1当作宿主机)

1 sudo apt-get install nfs-kernel-server

宿主机修改/etc/exports文件,配置

1 #注意*前有空格,*后没有空格,否则出现权限问题
2 /home/hadoop/share_directory *(rw,async,no_root_squash)

/home/hadoop/share_directory  -- 与客户机共享的目录;
* ,表示允许任意用户使用,也可以使用具体IP;
rw,挂载此目录的客户机对此目录有读写权利;
async,暂存于内存中异步写入,加快速度(如果频繁需要读取并且要同步要设为sync);
no_root_squash,挂载此目录的客户机享有主机root的权利;

宿主机保存后使配置文件生效

1 #使配置文件生效
2 exportfs -rv
3 #重启nfs服务
4 sudo /etc/init.d/nfs-kernel-server restart

目标机(要挂载的机子)

建一个一样的目录

1 sudo mkdir /home/hadoop/share_directrory

根据IP挂载

1  sudo mount -onolock 192.168.0.189:/home/hadoop/share_directory /home/hadoop/share_directory

不要了就直接umount

1 sudo umount /home/hadoop/share_directory

查询是否mount成功(看倒数第二行)

然后试着创建文件写入之类看有没有权限,没有错误就安装成功了

NFS文件系统下运行openmpi

(不用复制那么麻烦了。。。。)

到此安装结束,可能每个人环境会有所差别,所以我仅是把自己成功安装案例写出来,欢迎评论区指出错误

时间: 2024-08-03 13:45:27

Openmpi 编译安装+集群配置 + Ununtu14.04 + SSH无密码连接 + NFS共享文件系统的相关文章

Rhel6-mpich2 hpc集群配置文档

系统环境: rhel6 x86_64 iptables and selinux disabled 主机: 192.168.122.121 server21.example.com 192.168.122.173 server73.example.com (注:时间需同步) 所需的包:icpi-64 #配置mpich2 以下步骤在server21和server73上实施: [[email protected] ~]# yum install mpich2 -y [[email protected]

Redis5.0.5安装及集群配置

一.安装redis0.安装wget> yum install wget;安装gcc> yum install gcc1.新建目录 mkdir -p /usr/softwget http://download.redis.io/releases/redis-5.0.5.tar.gz或者手动下载之后放到/usr/soft目录下2.解压tar -zxvf redis-5.0.5.tar.gz3.编译和安装进入到redis-5.0.5路径下执行make install,结果会在src目录和/usr/l

rabibtMQ安装及集群配置-linux

安装RabbitMQ RabbitMQ是流行的开源消息队列系统,用erlang语言开发,故首先需要安装erlang依赖及erlang. 安装erlang依赖的基本环境,通过yum方式进行安装: yum -y install gcc glibc-devel make ncurses-devel openssl-devel autoconf 下载并安装erlang,这里使用的是erlang-R15B-02.1.el6.x86_64.rpm,将其拷贝至虚机中并通过yum方式进行安装: yum -y i

Activemq 安装与集群配置

1. 新建文件夹activemq/server mkdir  server 2.授权 chmod 777 server 3.下载activeMQ安装包,拷贝到/activemq/server目录下 apache-activemq-5.9.0-bin.tar.gz,下载地址: http://activemq.apache.org/download.html 4.解压文件到运行目录/activemq/server tar -xzvf  apache-activemq-5.9.0-bin.tar.gz

MPI集群配置

参考文档:Linux下MPI并行编程环境搭建配置 MPI是一种并行计算架构,MPICH是MPI的一种实现,本集群使用虚拟机安装,操作系统是ubuntu14.04,使用三台机器,用户名都是ubuntu,机器名分别是ub0, ub1, ub2 安装MPICH 下载:http://www.mpich.org/static/downloads/3.0.4/mpich-3.0.4.tar.gz 源码安装 $ tar -xzvf soft/mpich-3.0.4.tar.gz $ cd mpich-3.0.

Redhat6.5下MySQL5.6集群配置完整版

1.准备三台服务器 2.为三台机器分别安装Linux操作系统(Oracle Linux / RHEL 6.5 x86_64bit) 3.分别IP地址 管理节点      192.168.1.110         (负责管理整个集群) SQL节点       192.168.1.111         (负责操作数据库) SQL节点       192.168.1.112         (负责操作数据库) 数据节点      192.168.1.111         (负责存储数据) 数据节

java:redis(redis的集群配置)

服务器集群作用: 服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就象是只有一个服务器 集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行.一旦在服务器上安装并运行了群集服务,该服务器即可加入群集.群集化操作可以减少单点故障数量,并且实现了群集化资源的高可用性. redis的集群配置: (.编辑network文件 HOSTNAME=redis(自己定义的hostname) vi /etc/sysc

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

MySql 集群配置

MYSQL CLUSTER方案介绍 本文的大致框架来自罗志威.黄川的报告, 在它的基础上进行简化和修改一些bug并且添加了主从复制的章节,最后做出该文档 MySQL Cluster 是MySQL适合于分布式计算环境的高实用.高冗余版本.它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器.现在mysql cluster 被独立出来, 作为一个专门的产品进行运营, mysql-server-5.6+ 就不在存在对mysql cluster的支持,需要独立