fastdfs(https://www.jianshu.com/p/1c71ae024e5e)

参考

官方网站：https://github.com/happyfish100/

配置文档：https://github.com/happyfish100/fastdfs/wiki/

参考资料：https://www.oschina.net/question/tag/fastdfs

Java客户端：https://github.com/happyfish100/fastdfs-client-java

术语

fastDFS：

FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适。

------ 来自官网介绍

tracker-server:

跟踪服务器， 主要做调度工作， 起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息， 是客户端和数据服务器交互的枢纽。 相比GFS中的master更为精简， 不记录文件索引信息， 占用的内存量很少。

storage-server:

存储服务器（ 又称：存储节点或数据服务器） ， 文件和文件属性（ metadata） 都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。

group:

组， 也可称为卷。 同组内服务器上的文件是完全相同的 ，同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。

meta data:

meta data：文件相关属性，键值对（ Key Value Pair） 方式，如：width=1024,heigth=768 。

单机文件系统的对比

文件系统 高可用 扩展 部署复杂程度 性能
单机文件系统 低，依赖于单机服务器，只要服务器崩溃，完全不可用。 低，要扩容只能停机增加硬盘。 低 当文件数量多到一定的程度，磁盘IO寻址操作将会成为瓶颈
分布式文件系统 高，一个group内的服务器崩溃后，group内的其他storage将接管服务。 高，可以不停机增加group机器。 高，部署较复杂 高，通过集群或者分布式的方式分担服务器的压力。

其他文件系统的对比

指标 适合类型 文件分布 系统性能 复杂度 FUSE POSIX 备份机制 通讯协议接口 社区支持 开发语言
FastDFS 4KB~500MB 小文件合并存储不分片处理 很高 简单 不支持 不支持 组内冗余备份 Api HTTP 国内用户群 C语言
TFS 所有文件 小文件合并，以block组织分片   复杂 不支持   Block存储多份,主辅灾备 API http 少 C++
MFS 大于64K 分片存储 Master占内存多   支持 支持 多点备份动态冗余 使用fuse挂在 较多 Perl
HDFS 大文件 大文件分片分块存储   简单 支持 支持 多副本 原生api 较多 Java
Ceph 对象文件块 OSD一主多从   复杂 支持 支持 多副本 原生api 较少 C++
MogileFS 海量小图片   高 复杂 可以支持 不支持 动态冗余 原生api 文档少 Perl
ClusterFS 大文件     简单 支持 支持     多 C

适用场景：

特别适合以中小文件（ 建议范围： 4KB 到 500MB ） 为载体的在线服务， 如相册网站、 视频网站等等。

部署结构

fastdfs文件系统.png

适合本公司的最小化部署图

fastdfs文件系统1 (1).png

192.168.1.177安装fastdfs的tracker节点，以及nginx反向代理服务器用于下载服务。

192.168.1.188，192.168.1.189安装fastdfs的storage节点，默认分一组，一组内两台机器互为备份.

注意：为了做到高可用，一个group建议分为两台以上的机器。

tracker安装（192.168.1.177）

  • 安装 libfastcommon、perl依赖，下载libfastcommon-master.zip，上传到服务器的/usr目录下。

    https://github.com/happyfish100/libfastcommon

      [[email protected] usr]# unzip libfastcommon-master.zip
  [[email protected] usr]# cd libfastcommon-master
  [[email protected] usr]# ./make.sh
  [[email protected] usr]# ./make.sh install
  [[email protected] usr]# yum install perl
  • 编译安装fastdfs 
      [[email protected] usr] # tar -zxvf fastdfs-5.08.tar.gz
  [[email protected] usr] # cd fastdfs-5.08
  [[email protected] fastdfs-5.08] # ./make.sh
  [[email protected] fastdfs-5.08] # ./make.sh  install
  [[email protected] fastdfs-5.08]# ./make.sh  install
  mkdir -p /usr/bin
  mkdir -p /etc/fdfs
  cp -f fdfs_trackerd /usr/bin
  if [ ! -f /etc/fdfs/tracker.conf.sample ]; then cp -f ../conf/tracker.conf /etc/fdfs/tracker.conf.sample; fi
  mkdir -p /usr/bin
  mkdir -p /etc/fdfs
  cp -f fdfs_storaged  /usr/bin
  if [ ! -f /etc/fdfs/storage.conf.sample ]; then cp -f ../conf/storage.conf /etc/fdfs/storage.conf.sample; fi
  mkdir -p /usr/bin
  mkdir -p /etc/fdfs
  mkdir -p /usr/lib64
  mkdir -p /usr/lib
  cp -f fdfs_monitor fdfs_test fdfs_test1 fdfs_crc32 fdfs_upload_file fdfs_download_file fdfs_delete_file fdfs_file_info fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_upload_appender /usr/bin
  if [ 0 -eq 1 ]; then cp -f libfdfsclient.a /usr/lib64; cp -f libfdfsclient.a /usr/lib/;fi
  if [ 1 -eq 1 ]; then cp -f libfdfsclient.so /usr/lib64; cp -f libfdfsclient.so /usr/lib/;fi
  mkdir -p /usr/include/fastdfs
  cp -f ../common/fdfs_define.h ../common/fdfs_global.h ../common/mime_file_parser.h ../common/fdfs_http_shared.h ../tracker/tracker_types.h ../tracker/tracker_proto.h ../tracker/fdfs_shared_func.h ../storage/trunk_mgr/trunk_shared.h tracker_client.h storage_client.h storage_client1.h client_func.h client_global.h fdfs_client.h /usr/include/fastdfs
  if [ ! -f /etc/fdfs/client.conf.sample ]; then cp -f ../conf/client.conf /etc/fdfs/client.conf.sample; fi

如出现以上信息，说明安装成功。

fastDFS命令目录：/usr/bin

fastDFS配置文件目录:/etc/fdfs

  • 创建fastdfs数据目录

      mkdir -pv /data/fastdfs/tracker
  • 修改tracker.conf中的 base_path=/data/fastdfs/tracker，即刚才配置的数据文件目录 
     cp etc/fdfs/tracker.conf.sample etc/fdfs/tracker.conf
 vi  etc/fdfs/tracker.conf
  • 启动FASTDFS 
      cd  /usr/bin
  fdfs_trackerd /etc/fdfs/tracker.conf restart
  • 验证，默认端口是22122 
      [[email protected] bin]# netstat -antp|grep trackerd
  tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      31046/fdfs_trackerd

storage安装（192.168.1.188，192.168.1.189）

storage的安装与tracker安装类似，首先编译安装fastdfs，然后修改配置文件。

  • 创建配置文件

      cp etc/fdfs/storage.conf.sample etc/fdfs/storage.conf
  vi  etc/fdfs/storage.conf
  • 修改tracker.conf中的 
      disabled=false #启用配置文件
  group_name=group1 #组名，根据实际情况修改
  port=23000 #设置 storage 的端口号
  base_path=/data/fastdfs/storage #设置 storage 的日志目录（需预先创建）
  store_path_count=1 #存储路径个数，需要和 store_path 个数匹配
  store_path0=/data/fastdfs/storage #存储路径
  tracker_server=192.168.1.177:22122 #tracker 服务器的 IP 地址和端口号
  • 启动 
      cd /usr/bin
  ./fdfs_storaged  /etc/fdfs/storage.conf restart

java client

Javaclient的jar包不在maven的中央仓库中，需要下载源码包手工安装到私服中。

下载地址：https://github.com/happyfish100/fastdfs-client-java

我们主要关注storageclient这个类，这个类提供了文件上传下载查询文件信息等主要功能，与系统的集成也主要使用这个api。

Paste_Image.png

  • 新建fastDFS.conf配置文件

      connect_timeout = 2
  network_timeout = 20
  #tracker服务器地址，如果有多个tracker可以配置多个tracker_server
  tracker_server=192.168.1.177:22122
  • 运行源码包中的org.csource.fastdfs.test.testClient.java，注意在main方法中需要传递两个参数，第一个是配置文件，第二个是待上传的文件

    Paste_Image.png

  • 测试结果，已经能够通过Javaclient上传下载文件，但是通过http的方式下载还有问题。

    Paste_Image.png

在storage节点上安装nginx，增加http下载支持

  • 编译安装nginx，下载prce、zlib、fastdfs-nginx-module依赖支持，上传到storage的usr/local/src目录下。fastdfs-nginx-module主要用于解决同一组内文件同步不及时的问题。

    Paste_Image.png

  • 解压缩 
      cd  /usr/local/src
  unzip ./zlib-master.zip
  tar  -xvf ./nginx-1.11.7.tar.gz
  unzip  ./pcre-8.38.zip
  cd ./nginx-1.11.7
  ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-master/src --with-pcre=/usr/local/src/pcre-8.38 --with-zlib=/usr/local/src/zlib-master
  make && make install
   cp ../fastdfs-nginx-module-master/src/mod_fastdfs.conf  /etc/fdfs/
  • 修改nginx.conf 
       server {
          listen       80;
          server_name  localhost;
           location ~ /group1/M00{
              root /data/fastdfs/storage;
              ngx_fastdfs_module;
          }
  }
  • 配置mod_fastdfs.conf 
      #保存日志目录
  base_path=/data/fastdfs/storage
  #tracker 服务器的 IP 地址以及端口号 storage_server_port=23000 #storage 服务器的端口号
  tracker_server=192.168.1.177:22122
  #当前服务器的 group 名
  group_name=group1
  #文件 url 中是否有 group 名
  url_have_group_name = true
  #存储路径个数，需要和 store_path 个数匹配 store_path0=/data/fastdfs/storage #存储路径
  store_path_count=1
  # 从文件 扩展 名查 找 文件 类型 （ nginx 时 为true） group_count = 2#设置组的个数
  http.need_find_content_type=true 

  [group1]
  group_name=group1
  storage_server_port=23000
  store_path_count=1
  store_path0=/data/fastdfs/storage

安装nginx反向代理服务器（192.168.1.177）

  • 安装nginx，安装过程参考上一步
  • 配置nginx.conf 
      upstream fdfs_group1 {
      server 192.168.1.188 weight=1 max_fails=2 fail_timeout=30s;
      #server 192.168.1.189 weight=1 max_fails=2 fail_timeout=30s;
  }
  server {
      listen       80;
      server_name  localhost;
      location /group1/M00 {
      proxy_next_upstream http_502 http_504 error timeout invalid_header;
      proxy_pass http://fdfs_group1;
      expires 30d;
     }
  #其他配置
  }
  • 再次使用Javaclient测试

    Paste_Image.png

    Paste_Image.png

其他深入主题

  • nginx反向代理服务器的缓存优化
  • 扩容方案
  • tracker节点的集群优化

作者：哥别打脸
链接：https://www.jianshu.com/p/1c71ae024e5e
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

原文地址：https://www.cnblogs.com/yipianchuyun/p/10261329.html

时间： 2024-11-13 01:13:32

fastdfs(https://www.jianshu.com/p/1c71ae024e5e)的相关文章

Zabbix调优不完全指南(https://www.jianshu.com/p/2d911d55448f)

从学习搭建zabbix到完成各类监控.调优.二次开发已经过去了两年,期间通过QQ学习群.zabbix官方社区.各个技术博客整理学习了不少关于各种报错的处理方法,现在将常见的一些报错处理方法整理出来分享给大家. 在这先贴几个链接,给自己过去的简书增加些流量: Centos7安装Zabbix server3.4 zabbix通过SNMP监控路由器,交换机 zabbix通过IPMI监控服务器硬件 zabbix agent部署及自定义SQL server监控模版 Zabbix+Raspberry pi监

linux yum安装 mysql (转 https://www.jianshu.com/p/531cc35b15e7)

1.现在centos上默认是没有yum源的,yum安装的是 MariaDB.所以我们需要自己先配置yum源.配置yum源步骤如下:(参考自风Boy) 下载yum源:wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm' image.png 安装yum源rpm -Uvh mysql57-community-release-el7-11.noarch.rpm image.png 查看有哪些版本的mysq

flutter之https://www.jianshu.com/p/594a327267dc

https://www.jianshu.com/p/594a327267dcCustomerScrollView https://www.jianshu.com/p/594a327267dc Flutter使用官方CustomScrollView实现复杂页面下拉刷新和加载更多 原文地址:https://www.cnblogs.com/sundaysme/p/12639951.html

转帖--计算机网络基础知识大总汇 https://www.jianshu.com/p/674fb7ec1e2c?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

计算机网络基础知识大总汇 龙猫小爷 关注 2016.09.14 23:01* 字数 12761 阅读 30639评论 35喜欢 720 一.什么是TCP/IP 网络和协议 1.     TCP/IP是一类协议系统,它是一套支持网络通信的协议集合.网络是计算机或类似计算机的设备之间通过常用的传输介质进行通信的集合. 2.     网络协议就是一套通用规则,用来帮助定义复杂数据传输的过程.数据传输从一台计算机上的应用程序开始,通过计算机网络硬件,经过传输介质到正确目的地,然后上传到目的地计算机网络硬

tcp的三次握手和四次挥手转自https://www.jianshu.com/p/d3725391af59

三次握手(three-way handshaking) 1.背景:TCP位于传输层,作用是提供可靠的字节流服务,为了准确无误地将数据送达目的地,TCP协议采纳三次握手策略. 2.原理: 1)发送端首先发送一个带有SYN(synchronize)标志地数据包给接收方. 2)接收方接收后,回传一个带有SYN/ACK标志的数据包传递确认信息,表示我收到了. 3)最后,发送方再回传一个带有ACK标志的数据包,代表我知道了,表示’握手‘结束. 通俗的说法 1)Client:嘿,李四,是我,听到了吗? 2)

chromedriver与chrome最新版本对应表 转自-河岸上的酸菜鱼 简书地址-https://www.jianshu.com/u/bbea92f78aca

如果需要看到最新版的chromedriver和chrome版本对应问题,点击http://npm.taobao.org/mirrors/chromedriver/,点击最新版本的chromedrives, 查看notes.txt,就可以获得最新的版本对应表. 原文地址:https://www.cnblogs.com/wzbk/p/12604100.html

分布式文件存储系统--fastDFS

分布式文件系统,它是一款开源的轻量级分布式系统 单机时代 初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源.如果按不同类型再细分,可以在项目目录下再建立不同的子目录来区分.例如: resources\static\file. resources\static\img等. 优点:这样做比较便利,项目直接引用就行,实现起来也简单,无需任何复杂技术,保存数据库记录和访问起来也很方便. 缺点:如果只是后台系统的使用一般也不会有什么问题,但是

最小化安装linux CentOS-6.6后 部署fastdfs +下载地址 很干很干的干货

参考:http://blog.itpub.net/7734666/viewspace-1292485/ 安装一些必要软件 yum -y install wget yum -y install gcc yum -y install perl mkdir ~/zy cd ~/zy 安装:libfastcommon 下载: wget https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.7 解压: tar -zxvf V1

FastDFS 安装部署

# #FastDFS Github地址:https://github.com/happyfish100/fastdfs #FastDFS 简介:http://www.oschina.net/p/fastdfs/ #分布式文件系统及FastDFS : https://chulung.com/article/22 #分布式架构高可用架构篇:http://www.cnblogs.com/hujihon/p/5709556.html #实验拓扑图(逻辑图) #软件下载 # #libfastcommon