FastDfs 文件系统迁移

FastDFS架构:

FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。

  • tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。
  • storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。
  • client:客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。
Storage Server:存储服务器(又称数据服务器)。

迁移过程:

1、IP地址一致:直接复制data目录

2、IP地址不一致:

如果使用了V4的自定义ServerID特性,修改storage_ids.conf,将对应关系调整好

如果采用IP地址进行标识,需要修改或删除 data目录下的数据文件

文件名称:

tracker server上需要调整的文件列表:
data/storage_groups_new.dat
data/storage_servers_new.dat
data/storage_sync_timestamp.dat

storage server需要调整的文件列表:
data/.data_init_flag
data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。

注意storage的data目录下有一个.打头的隐藏文件也需要修改。

经过测试,发现直接删除上面文件重启服务器,FastDFS会自动重建配置文件

时间: 2024-10-07 05:13:41

FastDfs 文件系统迁移的相关文章

fastDFS文件服务器迁移

在实际的项目应用中,由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作.本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案. 1.迁移时IP地址不变 通过文件服务器存储规则定义,发现当ip地址没有发生变化时,这种文件服务器迁移是最简单的,只需要在新的服务器上安装fastDFS,把原来服务器上的tracker和storage下面的所有目录文件拷贝到新服务器,把所有的配置文件拷贝到新服务器,启动tracker和storage服务即可. 2.迁移时IP地址变化采用自定义

FastDFS文件系统(二) fastdfs和其他文件系统区别

一.概述 普通存储方案:Rsync.DAS(IDE/SATA/SAS/SCSI等块).NAS(NFS.CIFS.SAMBA等文件系统).SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler.FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式 存储来解决一下问题: 海量数据存储问题 数据高可用问题(冗余备份)问题 较高的读写性能和负载均衡问题 支持多平台多语言问题 高并发问题 主要对别指标 c

Fastdfs文件系统扩容

1.简介 FastDFS文件服务器在设计时,为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式.存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量.一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用.当存储空间不足或即将耗尽时,可以动态添加卷.只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量.FastDFS中的文件标识

通过Nginx访问FastDFS文件系统并进行图片文件裁剪的性能测试和分析

前段时间公司的分布式图片文件系统(FastDFS)做了图片裁剪和缩放功能,并把缩放计算和FastDFS做了解耦分离,前端用虚拟机作为图片文件缩放的访问代理层(Nginx Proxy),后端使用nginx直接访问FastDFS的文件系统.以下是测试和分析过程. 1测试场景 为了测试解耦后的图片读取并发和分析系统瓶颈,我们在内网中搭建了一个测试环境.以下是测试环境的网络的物理架构图: 上图中: NginxProxy:CPU解耦后的图片裁剪代理服务器 Storage:图片的存储服务器 ab:图片访问的

linux上安装fastdfs文件系统

为什么选择Nginx Nginx 是一个很牛的高性能Web和反向代理服务器, 它具有有很多非常优越的特性: 在高连接并发的情况下,Nginx是Apache服务器不错的替代品:Nginx在美国是做虚拟主机生意的老板们经常选择的软件平台之一. 能够支持高达 50,000 个并发连接数的响应, 感谢Nginx为我们选择了 epoll and kqueue 作为开发模型. Nginx作为负载均衡服务器:Nginx 既可以在内部直接支持 Rails 和 PHP 程序对外进行服务, 也可以支持作为 HTTP

oracle表空间文件系统迁移到ASM

1.配置测试环境创建数据表空间create tablespace test logging datafile '/home/oracle/test.dbf' size 10m autoextend on next 10m maxsize 2048m extent management local;创建用户并指定表空间create user test identified by 123456 default tablespace test;给用户授予权限grant connect,resource

安装fastdfs文件系统

1.下载源码包 需要下载的源码包: fastDFS源代码:FastDFS_v5.01.tar.gz fastDFS的nginx模块源代码:fastdfs-nginx-module_v1.15.tar.gz nginx服务器源代码:nginx-1.4.7.tar.gz nginx依赖的pcre库源代码:pcre-8.34.tar.gz nginx依赖的zlib库源代码:zlib-1.2.8.tar.gz 可以我的微云中下载http://url.cn/4Byr7Ky,也可以网上自行下载: 2.安装,

Fastdfs文件系统

FastDFS:分布式存储组件:tracker.storagetracker相当于lvs调度器,用户把请求发往tracker,tracker再把请求发送到storagestorage采用分组设计,组内建议三副本(三台服务器),组内服务器存储完全一样的数据,服务器采用主主设计,服务器间采用推复制同步数据,有负载均衡功能,组间存储不同数据,实现容量扩展. 原文地址:http://blog.51cto.com/13587169/2094612

Fastdfs分布式文件系统之文件同步机制

在前面几篇文章中我们对fastdfs系统的概述.tracker server.storage server以及文件的上传.下载.删除等功能的介绍, 本文将对同一组的不同storage server之间的同步以及新增storage server的同步进行介绍. fastdfs文件系统结构 fastdfs文件系统原理 从fastdfs文件系统结构中我们可以看出不管是上传文件.删除文件.修改文件及新增storager server,文件的同步都是同组 内多台storager server之间进行的.下