fastDFS文件服务器迁移

在实际的项目应用中,由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作。本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案。

1.迁移时IP地址不变

通过文件服务器存储规则定义,发现当ip地址没有发生变化时,这种文件服务器迁移是最简单的,只需要在新的服务器上安装fastDFS,把原来服务器上的tracker和storage下面的所有目录文件拷贝到新服务器,把所有的配置文件拷贝到新服务器,启动tracker和storage服务即可。

2.迁移时IP地址变化采用自定义server ID模式安装

在fastDFS文件服务器安装时,若前期考虑了文件迁移的需求采用了自定义server ID特性安装文件服务器(fastDFS安装请参考上一篇博客:FastDFS与Nginx的配置说明),在做新文件迁移时仅需如下操作(这种迁移测试很简单,变化ip时既可测试):

  • 安装新的fastDFS文件服务器;
  • 关闭tracker服务和storage服务;
  • 拷贝原有文件服务器tracker和storage下面的所有目录文件;
  • 拷贝原有文件服务器的配置文件,如图:
  • 编辑stroage_ids.conf文件,修改新的ip地址,如下图:
  • 修改client.conf,storage.conf,mod_fastdfs.conf(若配置了 Servier ID模式,可以不修改)文件中的ip地址为新的ip地址。
  • 启动tracker服务和storage服务;
  • 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。

3.迁移时IP地址变化采用默认配置安装

在这种模式下,文件迁移本质就是替换ip地址,找到文件服务器中配置文件与ip地址相关的文件替换后就可以了。但不建议采用这种模式安装,且一旦使用这样的模式安装后,需要切换为自定义 Server ID时,会报ip已经重复的异常,导致切换自定义安装失败(除非删除以前的存储文件)。为了迁移以前的文件数据,需进行如下操作:

  • 新服务器停止tracker和storage,分别将其数据文件目录用旧服务器的文件替换掉。
  • 删除新服务器data数据,使用旧服务器data替换
  • 修改tracker的data文件,主要是修改以下文件中的ip信息。
  1. data/storage_groups_new.dat
  2. data/storage_servers_new.dat
  3. data/storage_sync_timestamp.dat
  • 修改storage的data文件,主要是修改以下文件中的ip信息 。
  1. data/.data_init_flag
  2. data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。若sync目录下面没有文件,可不修改。
  • 修改client.conf,storage.conf,mod_fastdfs.conf文件中的ip地址为新的ip地址。
  • 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。

4.FastDFS服务器端运行时目录结构

${base_path}

|__data:存放数据文件

|__logs:存放日志文件
  其中,${base_path}由配置文件中的参数“base_path”设定。

4.1 .tracker server

tracker server目录及文件结构:

${base_path}

|__data

|     |__storage_groups.dat:存储分组信息


   |__storage_servers.dat:存储服务器列表

|__logs

|__trackerd.log:tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。

storage_groups.dat中的字段依次为:
  #. group_name:组名
  #. storage_port:storage server端口号

storage_servers.dat中记录storage server相关信息,字段依次为:
  #. group_name:所属组名
  #. ip_addr:ip地址
  #. status:状态
  #. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
  #. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)
  #. stat.total_upload_count:上传文件次数
  #. stat.success_upload_count:成功上传文件次数
  #. stat.total_set_meta_count:更改meta data次数
  #. stat.success_set_meta_count:成功更改meta data次数
  #. stat.total_delete_count:删除文件次数
  #. stat.success_delete_count:成功删除文件次数
  #. stat.total_download_count:下载文件次数
  #. stat.success_download_count:成功下载文件次数
  #. stat.total_get_meta_count:获取meta data次数
  #. stat.success_get_meta_count:成功获取meta data次数
  #. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
  #. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)

4.2 .storage serverstorage server目录及文件结构:


  ${base_path}

|__data

|     |__.data_init_flag:当前storage server初始化信息

|     |__storage_stat.dat:当前storage server统计信息

|     |__sync:存放数据同步相关文件

|     | 
   |__binlog.index:当前的binlog(更新操作日志)文件索引号

|     | 
   |__binlog.###:存放更新操作记录(日志)

|     | 
   |__${ip_addr}_${port}.mark:存放向目标服务器同步的完成情况

|     |

|     |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F

|       
   |__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF

|__logs

|__storaged.log:storage server日志文件

.data_init_flag文件格式为ini配置文件方式,各个参数如下:

# storage_join_time:本storage server创建时间

# sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据)

# sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空

# sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳)

storage_stat.dat文件格式为ini配置文件方式,各个参数如下:

# total_upload_count:上传文件次数

# success_upload_count:成功上传文件次数

# total_set_meta_count:更改meta data次数

# success_set_meta_count:成功更改meta data次数

# total_delete_count:删除文件次数

# success_delete_count:成功删除文件次数

# total_download_count:下载文件次数

# success_download_count:成功下载文件次数

# total_get_meta_count:获取meta data次数

# success_get_meta_count:成功获取meta data次数

# last_source_update:最近一次源头更新时间(更新操作来自客户端)

# last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)

binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\n)分隔,字段之间以西文空格分隔。字段依次为:

1. timestamp:更新发生时间(Unix时间戳)

2. op_type:操作类型,一个字符

3. filename:操作(更新)的文件名,包括相对路径,如:5A/3D/VKQ-CkpWmo0AAAAAAKqTJj0eiic6891.a

${ip_addr}_${port}.mark:
ip_addr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:

# binlog_index:已处理(同步)到的binlog索引号

# binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)

# need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步

# sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成

# until_timestamp:同步已有数据截至时间点(UNIX时间戳)

# scan_row_count:已扫描的binlog记录数

# sync_row_count:已同步的binlog记录数
 数据文件名由系统自动生成,包括5部分:存储服务器IP地址、当前时间(Unix时间戳)、文件大小(字节数)、随机数和文件后缀。文件名长度为33字 节。文件可以按目录顺序存放,也可以按照PJW Hash算法hash到65536(256*256)个目录中分散存储,通过配置文件控制。

时间: 2024-10-07 05:13:47

fastDFS文件服务器迁移的相关文章

服务器迁移之文件服务器迁移(基于WSMT的FSRM)

环境介绍: 某公司现在有一台组装的文件服器(2008R2现有域的成员服务器)!因公司发展及服务器性能等原因,现购一台HP服务器用作新的文件服务器(2008R2),需要将所有旧服务器上的共享目录迁移到新的服务器上,保证数据完整性.共享权限一致! 我以前写过一篇文章,将2003的文件服务器,用FSMT将文件迁移到2008R2环境下,参考以下链接: http://hubuxcg.blog.51cto.com/2559426/458091: 因为2008R2上已有自已的服务器迁移工具:Windows S

fastdfs(文件服务器)安装教程及php扩展安装

在安装fastdfs之前已经安装了lnmp集成包,所以直接安装fastdfs,之后再安装fastdfs_nginx_model(nginx的扩展) 准备工作:下载fastdif安装包到 /home/soft 目录 ,下载地址:http://pan.baidu.com/s/1jH59oO2 1.安装fastdfs # cd /home/softs/fastdfs # tar xzf FastDFS_v4.06.tar.gz # cd FastDFS # vi make.sh 去掉注释 WITH_L

fastDFS文件服务器服务器实现双机热备

两台文件fastDFS文件服务器 服务器A: 192.168.10.157 服务器B:192.168.10.158 上面实现目的:增加一台fastDFS备份服务器(192.168.10.158),做为fastDFS文件服务器(192.168.10.157)的从服务器,这两台fastDFS文件服务器之间实现双机热备. 即:从服务器(192.168.10.158)上面数据永远与主服务器(192.168.10.157)上面数据保持同步,并且随着主服务器(192.168.10.157)上面数据的变化而变

Windows 文件服务器迁移常用方法整理及优缺点

根据环境的不同文件服务器跨林迁移有多种迁移方法: 1.       创建林信任后通过ADMT迁移文件服务器 2.       条件允许的情况下文件服务器直接退域加域,此方法前提为AD中用户和组已通过ADMT迁移完成 以下为域内文件服务器迁移或升级方法: 1.       通过DFS复制组方法迁移 优点: 迁移期间不影响用户使用, 不需要进行差异文件迁移, 可以通过DFS报告验证文件迁移进度及完整性, 适用于对完成迁移所需时间无要求但是要求迁移期间不影响终端用户的环境. 缺点: 迁移周期较长, 迁

2008R2文件服务器迁移到2012R2

公司域里有台2008R2 1TB的文件服务器,用来存储各部门的文件,最近快满了,准备一台2TB的服务器装2012R2,把所有的文件迁移到2012R2中,权限及文件名都保持不变. 下面是测试环境时的操作步骤以及出现的问题: 文件服务器1:PEKDC1-FIL-01  2008R2源文件服务器 文件服务器2:PEKDC1-FIL-02  2012R2目标文件服务器 下面第一次是演示的报错的迁移,二是成功的.相应的解决方法也写上了. 一.第一次测试(不成功,迁移工具版本不同) 这二台都安装Window

文件服务器迁移之三(Robocopy进行大量迁移)

之前分别用FSMT和FSRM做过的文件迁移,具体方法可以参考:http://hubuxcg.blog.51cto.com/2559426/458091; http://hubuxcg.blog.51cto.com/2559426/1407703. 因为FSMT已经停止使用,而FSRM 的迁移速度并不十分理想,而且微软官方也有说明:Windows Server 迁移工具 (WSMT) 的文件迁移 (FSRM) 部分面向小型数据集(小于 100 GB 的数据). 它会通过 HTTPS 逐个复制文件.

Fastdfs文件服务器搭建

安装FastDFS之前,先安装libevent工具包.然后要安装libfastcommon和FastDFS,还要依赖nginx来显示图片. 1安装libevent yum -y install libevent 2安装libfastcommonV1.0.7工具包解压后进行目录 ./ make.sh ./ make.sh install 3安装Tracker服务,解压后进行目录,安装后在/usr/bin/目录下有以fdfs开头的文件都是编译出来的. ./ make.sh ./ make.sh in

FastDfs 文件系统迁移

FastDFS架构: FastDFS服务端有三个角色:跟踪服务器(tracker server).存储服务器(storage server)和客户端(client). tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用.在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽.相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少. storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta

FastDFS - 文件服务器学习资料

FastDFS搭建及java整合代码 CentOS 6.5下 FastDFS结合Nginx插件实现图片http访问 图片服务器fastDFS的搭建以及配置 nginx fastdfs 配置后 上传成功 但访问报404 bad request 两种解决方法 使用FastDFS搭建图片服务器单实例篇 使用FastDFS搭建图片服务器(单实例) fastdfs 环境搭建使用及最佳实践 分布式文件系统FastDFS架构剖析