昨天下午花了三四个小时在Linux centos 6 上搭建了一个分布式文件系统。纯粹是搭建来做自己的文件备份。所以把一些自己在其中遇到的一些问题给总结出来，免得更多人走错路。
FastDFS 的一些介绍(英文来自官方github):
FDFS , 开源分布式文件系统。主要的功能是:文件存储,同步,存取(上传和下载),它可以解决高容量和运载平衡的问题。FastDFS是符合了那些 图片,视频,照片分享的网站的需求。
FDFS 有分别有 tracker 和 storage 两个角色。tracker 负责安排和平衡文件的操作。storage 负责存储文件和其它对文件的操作(文件的保存,同步,提供访问文件的接口)。通过key&value文件的方式进行展现元数据。例如:width=1024,key为width 则 value为"1024"
trackerd 可以是一个或者多个的服务器。在 tracker 集群或者 storaged 集群中你可以随时随地可以添加或者移除集群而丝毫不影响在线的网站。tracker 集群变得越来越流行了。
storaged 组合文件的容量或者群组去获得高容量。storage 系统包含着一个或者多个在这些没有任何联系的容量卷。整个storage 系统的容量相当于所有容量的总和。一个文件卷可以包含一个或更多的存储类型是相同的storaged 服务器。
当整个storage 的容量爆了，你可以继续添加更多的卷去扩大内存。所以，你需要更多的服务器。...
卷名和文件名是组成身份认证的两个部分。
客户端测试的代码请参考目录:client / test
FastDFS的搭建过程:
从搭建部署到测试成功需要 9 步:
p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo }
p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; min-height: 13.0px }
span.s1 { }
#step 1. download libfastcommon source package from github and install it,
the github address:
https://github.com/happyfish100/libfastcommon.git
下载libfastcommon 资源包
#step 2. download FastDFS source package and unpack it,
tar xzf FastDFS_v5.x.tar.gz
#for example:
tar xzf FastDFS_v5.08.tar.gz
下载FastDFS 的资源包并解压
#step 3. enter the FastDFS dir
cd FastDFS
进入FastDFS解压后的文件夹
#step 4. execute:
./make.sh
安装
#step 5. make install
./make.sh install
安装
#step 6. edit/modify the config file of tracker and storage
修改 tracker.conf 和 storage.conf 两个配置文件
#step 7. run server programs
#start the tracker server:
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
#in Linux, you can start fdfs_trackerd as a service:
/sbin/service fdfs_trackerd start
#start the storage server:
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
#in Linux, you can start fdfs_storaged as a service:
/sbin/service fdfs_storaged start
其中storage 和 tracker 两个服务
#step 8. run test program
#run the client test program:
/usr/bin/fdfs_test <client_conf_filename> <operation>
/usr/bin/fdfs_test1 <client_conf_filename> <operation>
#for example, upload a file:
/usr/bin/fdfs_test conf/client.conf upload /usr/include/stdlib.h
测试
#step 9. run monitor program
#run the monitor program:
/usr/bin/fdfs_monitor <client_conf_filename>
通过moniter检测项目运行情况
接下来我们进行正确的步骤:
所需软件包的github地址:
FastDFS : https://github.com/happyfish100/fastdfs.git
libfastcommon : https://github.com/happyfish100/libfastcommon.git
所需的的环境:
Linux centos 6.5或者以上
如果系统没有gcc,那就命令行( yum install gcc )进行安装
下载:
cd /opt && mkdir fastdfs && cd fastdfs #在opt目录下建立文件夹 fastdfs git clone https://github.com/happyfish100/fastdfs.git #下载FastDFS git clone https://github.com/happyfish100/libfastcommon.git #下载libfastcommon cd /opt/fastdfs/libfastcommon #进入目录进行安装 ./make.sh && ./make.sh install cd /opt/fastdfs/fastdfs ./make.sh && ./make.sh install
配置文件:
所有的配置文件都在 /usr/bin/fdfs/ 下 :
p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo }
span.s1 { }
client.conf.sample storage.conf.sample storage_ids.conf.sample tracker.conf.sample
cd /etc/fdfs mv tracker.conf.sample tracker.conf mv storage.conf.sample storage.conf.samplemv client.conf.sample client.conf.sample
修改配置文件的内容如下:
storage.conf
# the base path to store data and log files base_path=/mnt/xfsd/fastdfs/storage # store_path#, based 0, if store_path0 not exists, it‘s value is base_path # the paths must be exist store_path0=/mnt/xfsd/fastdfs/storage # tracker_server can ocur more than once, and tracker_server format is # "host:port", host can be hostname or ip address tracker_server=host:22122 #standard log level as syslog, case insensitive, value list: ### emerg for emergency ### alert ### crit for critical ### error ### warn for warning ### notice ### info ### debug log_level=debug # the port of the web server on this storage server http.server_port=80
bash_path 是storage存储的数据和日志的地址
store_path0 和bash_path一样，只不过这个是优先存储的地址，如果不存在，默认是bash_path
tracker_server 是指tracker服务角色的 地址:端口。(如果tracker 和 storage 是同一个服务器的话，那么就填写服务器的ip和地址。)
log_level 是输出日志的级别设计
http.server_port 是http服务的接受端口
tracker.conf
# the tracker server port port=22122 # the base path to store data and log files base_path=/mnt/xfsd/fastdfs/tracker/ # HTTP port on this tracker server http.server_port=80
修改后可以启动服务了
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf (start | restart | stop) /usr/bin/fdfs_storaged /etc/fdfs/storage.conf (start | restart | stop)
检查服务:
/usr/bin/fdfs_moniter /etc/fdfs/storaged.conf
开启端口(我用的是iptables，简单便捷就可以配置了，可以去网上看下怎么安装iptables):
最后,进行测试:
fdfs_delete_file # 删除文件 fdfs_upload_file #上传文件 fdfs_test # 测试文件 fdfs_download_file #下载文件
拿fdfs_test来测试:
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /目标文件路径
成功后会有以下信息:
