Moosefs存储空间扩容及元数据恢复

本文主要关于Moosefs存储空间扩容及元数据恢复说明,Moosefs安装配置参考以下链接

http://hnr520.blog.51cto.com/4484939/1837619

一、原有集群,一台master、一台metalogger、两台chunkserver

1.分布情况


IP地址


角色


系统


备注


192.168.115.12


mfsmaster


Centos7


node2.hnr.com


192.168.115.31


mfsmetalogger


Centos6


192.168.115.11


mfschunkserver


Centos7


node1.hnr.com


192.168.115.13


mfschunkserver


Centos7


node3.hnr.com


192.168.115.11


mfsclient


Centos7


node1.hnr.com

2.挂载使用并设置副本数为2

#/usr/local/mfs/bin/mfsmount -H 192.168.115.12 /mnt/test/
#/usr/local/mfs/bin/mfssetgoal -r 2 /mnt/test/

3.准备数据

复制5个150M文件到mfs上

#for i in {1..5};do cp server.log /mnt/test/server.log.$i;done

4.磁盘空间使用情况

chunkserver1

chunkserver2

5.查看这个5个文件的副本数

#for i in `ls /mnt/test/`;do /usr/local/mfs/bin/mfsfileinfo /mnt/test/$i;done

二、增加chunkserver节点,扩容存储空间

1.新加入chunkserver节点


IP地址


角色


系统


备注


192.168.115.12


mfschunkserver


Centos7


192.168.115.31


mfschunkserver


Centos6

2.软件安装好,修改连接master地址即可,启动服务即可加入集群中

加入两个chunkserver节点,可以看到数据进行重新平衡,每个chunk复制一份到新加的两个节点其中一个,待相应的chunk都复制到新加的节点,在删除一个原有的chunk

3.重新平衡后的效果

三、元数据损坏恢复

1.什么是元数据损坏

元数据损坏是指由于各种原因导致master上的metadata.mfs数据文件不可用。

一旦元数据损坏,所有的存储在moosefs上的文件都不可使用。

2.模拟元数据损坏

停止master节点并删除metadata.mfs及changelog.0.mfs(变更日志文件)。

# /usr/local/mfs/sbin/mfsmasterstop
# cd/usr/local/mfs/lib/mfs
# rm -rf *

重新启动master将报错

#/usr/local/mfs/sbin/mfsmaster start

3.Master元数据恢复

从metalogger上将最新一份metadata_ml.mfs.back及changelog_ml.0.mfs复制到master的数据目录下,并注意文件属主属组为mfs。

# scp changelog_ml.0.mfs metadata_ml.mfs.back192.168.115.12:/usr/local/mfs/lib/mfs

在master节点数据目录修改复制过来的文件属性

# chown mfs.mfs *

启动master服务

此时需要以-a方式启动

# /usr/local/mfs/sbin/mfsmaster -a

到此,master服务已经正常启动

4.验证文件是否可用

经过验证,存储上的原有文件均正常。

时间: 2024-12-31 03:37:03

Moosefs存储空间扩容及元数据恢复的相关文章

LVM管理-元数据及分区表的恢复

日常我们为了查看物理卷.卷组.逻辑卷信息会使用一些命令,例如: 这些信息被放置在物理卷的第二扇区中,称为LVM标签,而LVM标签包含UUID号.记录块设备大小.记录元数据位置.其中,LVM的元数据包含了LVM卷组的详细配置并且可以ASCLL格式保存. 一.元数据备份 LVM的元数据默认放置的位置: 我们可以查看元数据文件: 对元数据作备份有3种方法: 第一种: 使用dd将设备信息输出到一个文件中,不过值得注意的是输出的文件我们在查看时会看到一些乱码,在恢复信息时候我们需要将文件中的乱码手动删除.

分布式文件系统MFS(moosefs)实现存储共享(第二版)

作者:田逸([email protected]) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepalived的方式),但仍然有用户反馈访问慢的问题.通过排查个服务器的情况,发现问题的根源在于共享存储服务器NFS.在我这个网络环境里,N个服务器通过nfs方式共享一个服务器的存储空间,使得NFS服务器不堪重负.察看系统日志,全是nfs服务超时之类的报错.一般情况下,当nfs客户端数目较小的时候,NFS性能不会出现问题:一旦NFS服务器数目过多,并且是那种

MooseFS分布式文件系统+keepalived高可用+unison和intoify实时双击同步(一)

1.  分布式文件系统mfs(moose file system) 1.1.mfs文件系统的组成 1.元数据服务器.在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当.希望今后MFS能支持多个master服务器,进一步提高系统的可靠性. 2.元数据日志服务器.备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs.当元数据服务器数据丢失或者损毁,可从日志服务器取得文件进行恢复. 3.数据存

官方文档 恢复备份指南三 Recovery Manager Architecture

本节讨论以下问题: About the RMAN Environment                        关于RMAN环境 RMAN Command-Line Client                            RMAN命令行 RMAN Channels                                                      RMAN通道 RMAN Repository                                

我所认识的MooseFS

我所想记录和讨论的一个问题是: Metalogger能实现Master的灾难恢复吗? changelog的备份时间是多久合适呢? 如果使用24小时,那灾备的时间空档期数据丢失了:这样Master挂掉需要及时的知道,否则数据会丢的越来越多哦: 但是即使Master挂了第一时间就知道,等从Metalogger拷贝过来changelog和matedata.mfs.bak来恢复整个的MFS,键盘操作飞快的工程师,并且对系统相当熟悉,似乎也无法保证数据的流失: 所以我们是否该思考,如何优化MooseFS的

select … into outfile 备份恢复(load data)以及mysqldump时间对比

select - into outfile 'path' 备份 此种方式恢复速度非常快,比insert的插入速度要快的多,他跟有备份功能丰富的mysqldump不同的是,他只能备份表中的数据,并不能包含表的结构.如果备份完成之后,表被drop,是无法实现恢复操作的(除非有表结构). mysql> select * from t1 into outfile '/mydata/mysql/mysql3307/data/t1.sql'; ERROR 1290 (HY000): The MySQL se

如何使用Disk Drill 3为macOS恢复丢失的数据?

还在因误删数据而懊恼吗?disk drill mac版来帮您!这款苹果数据恢复软件提供磁盘监控.Mac清理.恢复驱动器.数据保护.数据备份等实用功能,支持快速扫描和深度扫描,所有丢失的数据都可以帮你找回,是找回你心爱数据的得力帮手! 使用Disk Dril找回丢失数据 要在Disk Drill中启动恢复过程,请执行以下操作: 1.转到“应用程序”文件夹,然后双击“磁盘钻”图标,启动“磁盘钻取”.2.在主屏幕上,您将看到可扫描的驱动器和设备列表.如果未显示您要扫描的设备,请查看屏幕左下角,然后单击

[转]常见分布式系统数据分布解析

转自:http://www.uml.org.cn/sjjm/201507284.asp 1 文档说明 研究分布式文件系统时间也不短了,接触过的文件系统也不少,趁着这2014到来之际,花点时间用来总结总结. 接触过的文件系统有glusterfs.moosefs.lustre及hdfs等,其架构简单顺带解说一点,总体来说分为元数据中心式及去中心式.其实除了glusterfs,其他的都是元数据中心式的分布式文件系统. 对于文件系统的架构只进行简单的解说,现在主要对以上各种文件系统的数据分布方式进行总结

关于LVM逻辑卷

简介 逻辑卷是一种device mapper技术,即可以将一个或者多个底层块设备组织成一个逻辑设备,从而提供动态改变大小,不停机情况下添加磁盘,快照以及备份 等功能,使得对于磁盘的管理更加方便. 逻辑卷的组成结构 逻辑卷的组成如下图所示: 从上图中可以看出,整个逻辑卷的体系分为3个层次: 底层的PV 中层的VG 最上层的LV 最底层的PV作为整个逻辑卷体系的最底层,可以理解为打上了可以被纳入逻辑卷管理体系的标签的整块磁盘或者磁盘上的某个分区:中间层的VG是逻辑卷的卷组,由一个或者多个PV组成,并