01FastDFS的安装部署

1.FastDFS简介

(1)FastDFS的功能介绍

FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

(2)FastDFS的工作原理

  1. FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。
  2. 跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
  3. 为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。
  4. 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
  5. 当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
  6. FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

(3)FastDFS系统架构

    1.FastDFS系统结构如下图所示：
 
    2.上传文件交互过程：
 
        1.client询问tracker上传到的storage，不需要附加参数；
        2.tracker返回一台可用的storage；
        3.client直接和storage通讯完成文件上传。
    3.下载文件交互过程：
 
        1.client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
        2.tracker返回一台可用的storage；
        3.client直接和storage通讯完成文件下载。
    4.同步机制
        1.同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
        2.文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
        3.源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
        4.上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

(4)运行时目录结构
    1.tracker server目录结构：

${base_path}
    |__data
    |   |__storage_groups.dat：存储分组信息
    |   |__storage_servers.dat：存储服务器列表
    |__logs
        |__trackerd.log：tracker server日志文件

    2.storage server 目录结构：

${base_path}
    |__data
    |     |__.data_init_flag：当前storage server初始化信息
    |     |__storage_stat.dat：当前storage server统计信息
    |     |__sync：存放数据同步相关文件
    |     |     |__binlog.index：当前的binlog文件索引号
    |     |     |__binlog.###：存放更新操作记录（日志）
    |     |     |__${ip_addr}_${port}.mark：存放同步的完成情况
    |     |
    |     |__一级目录：256个存放数据文件的目录，如：00, 1F
    |           |__二级目录：256个存放数据文件的目录
    |__logs
          |__storaged.log：storage server日志文件

2.FastDFS的安装过程

(1)准备工作-安装libevent
    FastDFS内部绑定了libevent作为http服务器，必须安装libevent。
    1.判断是否安装了libevent
        命令：rpm -qa|grep libevent。如果有输出，则说明已经安装了libevent；Fastdfs对libevent版本有要求，所以先删除系统自带的libevent,然后安装最新稳定版本。
    2.卸载已有的libevent
        命令：rpm -e libevent –nodeps

    3.安装最新的libevent（例如：libevent-2.0.21-stable.tar.gz）
        命令：tar zvxf libevent-2.0.21-stable.tar.gz
        命令：cd libevent-2.0.21-stable
        命令：./configure --prefix=/usr 
        命令：make
        命令：make install
    4.检查是否安装成功
        命令：ls –al /usr/lib |grep libevent（或者ls –al /usr/local/lib |grep libevent）    若有结果，则说明安装正确
    5.为libevent创建软链接到/lib库下（64位系统对应/lib64）
        假设libevent 的安装目录在/usr/local/lib/下
        命令：ln –s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5
        命令：ln –s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5(64位系统)

(2)安装 FastDFS

    1.下载 FastDFS 源程序FastDFS_v3.11.tar.gz(FastDFS_v4.06.tar.gz)。
    2.解压FastDFS_v3.11.tar.gz
    3.修改make.sh文件
        由于要使用内置的 http 服务，因此编辑 %FastDFS%/make.sh 文件，找到#WITH_HTTPD=1修改成WITH_HTTPD=1以支持 http。支持HTTP服务可以使用浏览器下载文件。
    4.安装
        进入 %FastDFS% 目录，执行：
        sudo ./make.sh 
        sudo ./make.sh install
(3)修改配置文件
    1.FastDFS的配置文件在/etc/fdfs目录下包含如下文件
        client.conf         客户端上传配置文件
        storage.conf        文件存储服务器配置文件
        tracker.conf        负责均衡调度服务器配置文件
        http.conf           http服务器配置文件
    2.配置tracker Server(tracker.conf)
        修改用于存储日志及storage server等文件的目录：
            base_path=/home/yuqing/fastdfs --> base_path=/home/soar/fastdfs_tracker
        修改将来http下载文件的端口号：
            http.server_port= 8080  --> http.server_port= 8090
        设置http服务支持：
            ##include http.conf --> #include http.conf
    3.配置storage server(storage.conf)
        修改用于存储storage相关的log、group内的相关信息的目录：
            base_path=/home/yuqing/fastdfs -> /home/soar/fastdfs_storge
        设置tracker Server的端口号：
            tracker_server=192.168.209.121 : 22122 -> tracker_server=10.0.2.15 : 22122
        设置http服务支持：
            ##include http.conf ->#include http.conf 
    4.配置client(client.conf)
        设置tracker Server的端口号：
            tracker_server=192.168.209.121:22122 -> tracker_server=10.0.2.15:22122
        修改将来http下载文件的端口号：
            http.tracker_server_port=8080 ->http.tracker_server_port=8090
        设置http服务支持：
            ##include http.conf ->#include http.conf
(4)启服动务与停止服务
    1.tracker Server
        启动命令：/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
        停止命令：/usr/local/bin/stop.sh /usr/local/bin/fdfs_trackerd/etc/fdfs/tracker.conf
        重启命令：/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackered
    2.storage server
        启动命令：/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
        停止命令：/usr/local/bin/stop.sh  /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
        重启命令：/usr/local/bin/restart.sh /usr/local/bin/fdfs_storaged
(5)测试功能
        文件上传：/usr/local/bin/fdfs_test /etc/fdfs/client.conf upload /etc/fdfs/test.jpg
        下载文件：/usr/local/bin/fdfs_download_file /etc/fdfs/client.conf download group1/00/00/CowXd1BQhA7jF-mjAAAALrcEX_4772.txt
(6)常用命令

文件上传：fdfs_upload_file <config_file> <local_filename> /usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf /cairo-1.2.0.tar.gz
文件下载：fdfs_download_file <config_file> <file_id> [local_filename] /usr/local/bin/fdfs_download_file /etc/fdfs/client.conf <file_url>(group3/…)
文件删除：fdfs_delete_file <config_file> groupid/file_name /usr/local/bin/fdfs_delete_file /etc/fdfs/client.conf <file_url>(group3/…)
文件查看：dfs_file_info <config_file> <remote_file-id> /usr/local/bin/fdfs_file_info /etc/fdfs/client.conf <file_url>(group3/…)
文件附加：fdfs_append_file <config_filename> <appender_file_id> <local_filename> /usr/local/bin/fdfs_append_file /etc/fdfs/client.conf <file_url>(group3/…)
存储服务器信息查看：fdfs_monitor <config_file> [-h <tracker_server>] [list|delete <group_name> [storage_ip]] /usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf -h 10.192.64.103 list
存储服务器踢出集群：fdfs_monitor <config_file> [-h <tracker_server>] [list|delete <group_name> [storage_ip]] fdfs_monitor /etc/fdfs/storage.tracker -h 10.192.64.103 delete group1 10.192.64.104
查看集群整体状态：/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf

注意：如果被删除(踢出)的storage server的状态是ACTIVE，也就是该storage server还在线上服务的情况下，是无法删除掉的

3.其他参考

    Trackerd的详细配置
        http://blog.csdn.net/poechant/article/details/6995697
    Storage的详细配置
        http://blog.csdn.net/poechant/article/details/6996047
    FastDFS项目的FAQ
        http://bbs.chinaunix.net/thread-1920470-1-1.html
    FastDFS参考网站
        CSDN
            http://blog.csdn.net/citysheep/article/details/6034982
            http://blog.csdn.net/poechant/article/details/7209313
        官方博客
            http://bbs.chinaunix.net/forum-240-1.html
            http://bbs.chinaunix.net/thread-1920470-1-1.html
            http://bbs.chinaunix.net/thread-1941456-1-1.html
        博客园
            http://www.cnblogs.com/Seapeak/archive/2010/05/17/1737336.html
        其他
            http://www.programmer.com.cn/4380/
            http://www.oschina.net/p/fastdfs/
            http://blog.163.com/023_dns/blog/static/1187273662012101711031704

----------------------------------------------------------------------------------------------------------------------------------------------------

时间： 2024-08-28 03:10:01

01FastDFS的安装部署的相关文章

Python实现一键安装部署LNMP环境

最近一直在学Python,东西比较多,时间持续的也比较长,为了能够学以致用,想到了原来写过的shell一键安装部署LNMP脚本,既然shell能写,Python也一定能写,就用学到的知识写了下面这个版本,这可能并不是最优版本,等学到更多东西的时候再进行优化升级! 环境介绍: Python 2.6.6 Centos 6.5 nginx 1.10.1 mysql 5.6.34 php 5.3.3 代码如下: #!/bin/env python import os import sys def ent

linux运维之weblogic12.1.3安装部署

安装最新的weblogic版本,版本号为 12.1.X(12.1.2,12.1.3).开始以为和旧版安装一样,使用控制台的方式,下载bin文件,然后一步步在console执行下来就行了.万万没想到,从12C版本后,bin文件不提供了,改成全系统通用的jar文件 (generic.jar).试了半天原来那种安装方式不能用了,非得用图形界面安装.由于服务器只能远程登录,于是各种百度.各种找材料,最后终于找到一种静默方式的安装.请看下文. weblogic12C各版本所支持的JDK版本: fmw_12

Sqlserver2008安装部署文档

Sqlserver2008部署文档 注意事项: 如果你要安装的是64位的服务器,并且是新机器.那么请注意,你需要首先需要给64系统安装一个.net framework,如果已经安装此功能,请略过这一步.   具体安装.net framework的方法是:在图标<我的电脑>上右击选择<管理>,打开以后选择<功能>选项卡,如下图所示,然后点击添加功能,勾选..net framework,然后一直点击下一步安装即可. 安装的过程中,需要注意如果你要安装的服务器有外挂或者附加的

redis以及php的redis扩展安装部署

一.redis 安装部署: tar xf redis-3.2.8.tar.gz cd redis-3.2.8 make MANIFESTO=jemalloc make PREFIX=/usr/local/redis-3.2.8 install ln -s /usr/local/redis-3.2.8/ /usr/local/redis echo "export PATH=/usr/local/redis/bin:$PATH" >> /etc/profile find / -

ELK部署logstash安装部署及应用（二）

Logstash 安装部署注意事项: Logstash基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output input:从哪里收集日志. filter:发出去前进行过滤 output:输出至Elasticsearch或Redis消息队列 codec:输出至前台,方便边实践边测试 数据量不大日志按照月来进行收集 如果通过logstash来采集日志,那么每个客户端都需要安装logstash 安装需要前置系统环境

Zookeeper安装部署

Zookeeper安装部署 Zookeeper部署(单机模式)   下载ZooKeeper ü  http://zookeeper.apache.org/   解压 ü  tar -zxvf zookeeper-3.4.5.tar.gz   配置.在conf目录下创建一个配置文件zoo.cfg: tickTime=2000 dataDir=/home/hadoop/bigdata/zookeeper/datadataLogDir=/home/hadoop/bigdata/zookeeper/da

虚拟化Vmware之安装部署vCenter

vCenter是vSphere解决方案的基础物理架构核心,可以提供如访问控制.性能监控和配置功能等,并且可以将多台ESXi主机资源集中,使这些资源在整个数据中心的虚拟机之间共享.vCenter是一种服务,充当连接网络的ESXi主机的中心管理员. 安装部署vCenterer 一.实验环境 自己的真实机当作客户机 1.首先将DC/DNS(benet.com)服务器的防火墙关闭 2.真实机和虚拟机都设在同一网段 DNS指向DNS服务器. 安装高版本的flash 二.配置sql server    我在

安装部署Phxsql

.需求:公司某软件使用phxsql已经部署在3个机房,现需要在新的机房增加一个phxsql节点,以下为操作过程,因为保护隐私把4台IP用 1.1.1.1 2.2.2.2 3.3.3.3 新的ip为4.4.4.4 .安装Phxsql需要Python2.7版本,Centos默认为2.6版本,需要进行升级 cd /opt wget --no-check-certificate https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz tar

CentOS 6.5 安装部署iSCSi共享存储

 CentOS 6.5 安装部署iSCSi共享存储 一.前言 1.什么是iSCSI? iSCSI技术是一种由IBM公司研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择.iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料. iSCSI:Internet 小型计算机系统接口 (iSCSI: