配置NFS作为HDFS高可用的共享存储系统

所有命令或步骤:

首先,在各个节点上安装nfs服务

  yum install -y nfs

  service rpcbind start

  service nfs start

编辑/etc/exports文件,添加下面一行

  /mnt/share hadoop1(rw,no_root_squash,async) hadoop2(rw,no_root_squash,async) hadoop6(rw,no_root_squash,async) hadoop7(rw,no_root_squash,async)

  表示后面四台主机对共享目录/mnt/share具有读写权限.

  在hdfs-site.xml中添加下面几行

  

     <property>
                <name>dfs.namenode.shared.edits.dir.ns1</name>
                <value>file:///root/softs/hadoop-2.7.3/sharelogs/eidts_ns1</value>
        </property>
        <property>
                <name>dfs.namenode.shared.edits.dir.ns2</name>
                <value>file:///root/softs/hadoop-2.7.3/sharelogs/eidts_ns2</value>
        </property>

  在需要使用共享目录的节点上挂载共享目录

  mount -t nfs hadoop1:/mnt/share sharelogs/

  mount -t nfs hadoop2:/mnt/share sharelogs/

  mount -t nfs hadoop6:/mnt/share sharelogs/

  mount -t nfs hadoop7:/mnt/share sharelogs/

其他具体配置参照hadoop官方文档

原文地址:https://www.cnblogs.com/cqdxwjd/p/9812765.html

时间: 2024-08-12 11:49:46

配置NFS作为HDFS高可用的共享存储系统的相关文章

基于heartbeat v2 crm实现基于nfs的mysql高可用集群

前言 因heartbeat v1内置的资源管理器haresource功能比较简单,且不支持图形化管理,所以heartbeat v2不再支持haresource,转而使用更加强大的资源管理器crm进行集群管理.本文将讲解如何基于heartbeat v2 crm实现基于nfs的mysql高可用集群. 高可用实现 实验拓扑 实验环境 node1:172.16.10.123 mariadb-5.5.36 CentOS6.6 node2:172.16.10.124 mariadb-5.5.36 CentO

corosync+pacemaker+nfs提供mysql高可用

corosync/openais+pacemaker+nfs提供mariadb高可用 节点一, one, 172.16.249.122/16, 172.16.0.1, CentOS6.6, mariadb节点二, two, 172.16.249.123/16, 172.16.0.1, CentOS6.6, mariadb节点三, three, 172.16.249.124/16, 172.16.0.1, CentOS6.6, NFSVIP: 172.16.249.121 节点一: one 172

Redis安装、主从配置及两种高可用集群搭建

Redis安装.主从配置及两种高可用集群搭建 一.            准备 Kali Linux虚拟机 三台:192.168.154.129.192.168.154.130.192.168.154.131 用户名/密码:root/... ssh设置 修改sshd_config文件,命令为:vim /etc/ssh/sshd_config 将#PasswordAuthentication no的注释去掉,并且将NO修改为YES //kali中默认是yes 将PermitRootLogin wi

heartbeat v2配置高可用web集群和基于nfs搭建MySQL高可用集群

安装环境:Centos 6.4, httpd2.4,mysql5.5,heartbeat v2 提供两台机器node1和node2,在/etc/hosts文件中添加名称解析,并且主机名称要与节点名称要相同,即uname -n的名称要和hosts定义的名称必须一样. #   IP                         HOSTNAME             ALIAS 10.204.80.79     node1.mylinux.com     node1 10.204.80.80  

DRDB安装配置详解+NFS(Mysql)+Heartbeat高可用实例配置-任志远

温馨提示: 如果mysqld高可用 haresources node1IPaddr::192.168.1.222/24/eth0:1 Filesystem::/dev/drbd0::/data::ext4mysqld chmod a+x/etc/ha.d/resource.d/mysqld_umount cp /etc/init.d/mysqld/etc/ha.d/resource.d/ 作者:http://renzhiyuan.blog.51cto.com/

三:QJM HDFS高可用

本文介绍的是HDFS的一种HA方案.虽然有checkpoint node \backup node等,但是不能实现自动的failover. http://hadoop.apache.org/docs/r2.6.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 1.在2.0.0版本以下,namenode是单个的,如果namenode宕机,就会导致整个集群不可用.QJM 是HA的一种实现方式,通过master/sla

CentOS6.4 高可用集群之基于heartbeat(crm)和nfs的mysql高可用

CentOS6.4 高可用集群之基于heartbeat和nfs的高可用mysql CentOS版本: CentOS release 6.4(Final) 2.6.32-358.el6.i686 效果演示: 使用ssh连接(nod-1.magedu.com)192.168.3.7 并执行以下命令: [[email protected] ha.d]# hb_gui & 说明:hb_gui是heartbeat为了方便管理集群资源而提供的一个图形用户接口 安装heartbeat默认会在系统中创建一个名为

heatbeat-gui实现基于nfs的mysql高可用集群

一.简述HA高可用集群 高可用集群就是当集群中的一个节点发生各种软硬件及人为故障时,集群中的其他节点能够自动接管故障节点的资源并向外提供服务.以实现减少业务中断时间,为用户提供更可靠,更高效的服务. 二.基于nfs实现mysql的高可用集群配置 环境准备接上文 heartbeat-gui部署 实验环境: nfs server准备 1.在nfs server准备LVM存储空间 [[email protected] ~]# fdisk /dev/sdb Device contains neither

Exchange2010配置-实现邮箱服务器高可用

上一篇我们实现了Exchange 2010 CAS服务器的高可用性,今天我们来看下邮箱服务器MBX的高可用. 邮箱服务器用于存储所有用户的邮箱,重要性毋庸置疑!前一个版本Exchange2007使用的是LCR,CCR等容灾技术,而Exchange2010中使用的更为稳定且最新的DAG技术. 什么是DAG? DAG的全称是Database Availability Group,中文名称是数据库可用性组,它可以提供数据库级别的容错,并且在组成DAG的服务器数据库之间会自动实现数据同步: 简单说就是你