之前的文章，现在放出来，以供参阅。
一、fastdfs简介
- FastDFS是一个轻量级的开源分布式文件系统
- FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡
- FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储
- 支持存储服务器在线扩容
- 支持相同内容的文件只保存一份，节约磁盘空间
- FastDFS只能通过Client API访问，不支持POSIX访问方式
- FastDFS特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）
使用场景：
特别适合以中小文件（建议范围： 4KB 到 500MB ）为载体的在线服务，如相册网站、视频网站等等。
二、系统架构
FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。
- tracker server: 跟踪服务器，主要做调度工作，起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。
- storage server: 存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。
- client server: 客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
- group：组，也可称为卷。同组内服务器上的文件是完全相同的
- 文件标识：包括两部分：组名和文件名（包含路径）
- meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768
文件上传机制
- client询问tracker上传到的storage，不需要附加参数；
- tracker返回一台可用的storage；
- client直接和storage通讯完成文件上传。
下载机制：
- client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
- tracker返回一台可用的storage；
- client直接和storage通讯完成文件下载。
同步机制：
- 同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
- 文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
- 源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
- 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。
远行目录结构：
tracker server 结构：
${base_path}
|__data
| |__storage_groups.dat：存储分组信息
| |__storage_servers.dat：存储服务器列表
|__logs
|__trackerd.log：tracker server日志文件
storage server结构：
${base_path}
|__data
| |__.data_init_flag：当前storage server初始化信息
| |__storage_stat.dat：当前storage server统计信息
| |__sync：存放数据同步相关文件
| | |__binlog.index：当前的binlog文件索引号
| | |__binlog.###：存放更新操作记录（日志）
| | |__${ip_addr}_${port}.mark：存放同步的完成情况
| |
| |__一级目录：256个存放数据文件的目录，如：00, 1F
| |__二级目录：256个存放数据文件的目录
|__logs
|__storaged.log：storage server日志文件
文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。
其中：
- 组名: 文件上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。
- 虚拟磁盘路径: 存储服务器配置的虚拟路径，与磁盘选项store_path* 对应。
- 数据两级目录: 存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
- 文件名: 与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
设计特点：
1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组，并将选择合适的存储服务器提供客户端访问；
2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。
三、安装与使用
环境准备：
1、Linux环境，使用centos环境.
2、pdfs v5.+的版本不依赖于lib event, 需要安装libfastcommon.同时需要注意各个版本安装的时候匹配关系。不匹配的时候是有bug的。实例使用V5.08
软件下载：
1、代码仓库
https://github.com/happyfish100/fastdfs.git
https://github.com/happyfish100/libfastcommon.git
https://github.com/happyfish100/fastdfs-nginx-module.git
安装：
新系统：
yum -y install wget vim git texinfo patch make cmake gcc gcc-c++ gcc-g77 flex bison file libtool libtool-libs autoconf kernel-devel libjpeg libjpeg-devel libpng libpng-devel libpng10 libpng10-devel gd gd-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glib2 glib2-devel bzip2 bzip2-devel libevent libevent-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel vim-minimal nano fonts-chinese gettext gettext-devel ncurses-devel gmp-devel pspell-devel unzip libcap diffutils pcre pcre-devel
安装libfastcommon
git clone https://github.com/happyfish100/libfastcommon.git
cd libfastcommon
sh make.sh && sh make.sh install
安装fastdfs
git clone https://github.com/happyfish100/fastdfs.git
cd fastdfs
sh make.sh && sh make.sh install
安装nginx［已有可免安装］
wget http://nginx.org/download/nginx-1.8.0.tar.gz
tar zxvf nginx-1.8.0.tar.gz
git clone https://github.com/happyfish100/fastdfs-nginx-module.git
cd nginx-1.8.0
./configure--prefix=/usr/local/nginx--add-module=/root/fastdfs-nginx-module/src
make&&make install
cd /usr/local/bin
ln-s/usr/local/nginx/sbin/nginx .
nginx-t
配置：
tracker.conf配置：
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .
sed -i ‘s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata／tracker:g‘ tracker.conf
sed -i ‘s:http.server_port=.*:http.server_port=80:g‘ tracker.conf
storage.conf配置：
cd /etc/fdfs
cp storage.conf.sample storage.conf
＃cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .
＃cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .
sed -i ‘s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/storage:g‘ storage.conf
sed -i ‘s:store_path0=.*:store_path0=/home/lijianli/fastdfs/masterdata/storage:g‘ storage.conf
sed -i ‘s/tracker_server=.*/tracker_server=10.60.81.188:22122/g‘ storage.conf
sed -i ‘s:http.server_port=.*:http.server_port=80:g‘ storage.conf
client.conf配置：
cd /etc/fdfs
cp client.conf.sample client.conf
sed -i ’s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/client:g’ client.conf
sed -i ’s/tracker_server=.*/tarcker_server=10.60.81.188:22122/g’ client.conf
nginx配置
upstream fdfs_group1{
server 10.60.81.188:80;
}
server{
location group1/M00{
proxy_pass http://fdfs_group1;
}
}
常用命令：
fdfs_delete_file: 删除文件，/opt/apps/fdfs/bin/fdfs_delete_file <config_file> <file_id>
fdfs_download_file: 下载文件，/opt/apps/fdfs/bin/fdfs_download_file <config_file> <file_id> <local_filename>
fdfs_file_info: 获取某个文件信息，/opt/apps/fdfs/bin/fdfs_file_info <config_file> <file_id>
fdfs_monitor: 监控，查看storage server的状态/opt/apps/fdfs/bin/fdfs_monitor <config_file> 也可以用这个命令来摘除无效的storage节点，/opt/apps/fdfs/bin/fdfs_monitor <config_file> delete <group_name> <storage_ip> 注意：如果被删除的storage server的状态是ACTIVE，也就是该storage server还在线上服务的情况下，是无法删除掉的。
fdfs_storaged: 用来启动或是重启或是关闭server，/opt/apps/fdfs/bin/fdfs_storaged <config_file> [start | stop | restart]
fdfs_trackerd: 用来启动或是重启或是关闭server，/opt/apps/fdfs/bin/fdfs_trackerd <config_file> [start | stop | restart]
fdfs_upload_file: 上传文件，/opt/apps/fdfs/bin/fdfs_upload_file <config_file> <local_filename>
2、监控问题。
Java:
https://github.com/canmind/fastdfs-zyc/tree/master/fastdfs-zyc/main/webapp
3、开发集成问题。
四、社区&使用商
阿里，UC网盘，优酷，搜狐等。
五、总结
- FastDFS只有三个角色；且跟踪服务器和存储服务器均不存在单点。
- 跟踪服务器被动的接收存储服务器汇报，对存储服务器进行分组管理；并为客户端选定适用的存储服务器。同一存储服务器可以同时向多台跟踪服务器汇报状态信息。
- 存储服务器组内所有存储服务器是对等关系，存储的数据一一对应且相同；所有的存储服务器均是同时在线服务，极大的提高的服务器的使用率，分担了数据访问压力。
六、参考资料
1、https://github.com/happyfish100/fastdfs 源码
2、http://bbs.chinaunix.net/forum-240-1.html 作者维护的论坛
3、http://tech.uc.cn/?p=221 UC团队使用维护文档
4、https://code.google.com/archive/p/fastdfs/ 作者维护的Google code上的项目。