JavaEE进阶——FastDFS实现分布式文件系统

FastDFS

FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 
存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。 
跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。 
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。 
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。 
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

上传交互过程

  1. client询问tracker上传到的storage，不需要附加参数；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件上传。

下载交互过程

搭建环境文件下载列表

  1. FastDFS_v5.05.tar.gz
  2. nginx-1.14.0.tar.gz
  3. fastdfs-nginx-module_v1.16.tar.gz
  4. fastdfs_client_v1.20.jar
  5. libfastcommonV1.0.7.tar.gz

搭建FastDFS环境

1、上传所有下载的压缩源码包

选择CentOS6.4系统，具体安装见JavaEE进阶——CentOS开发环境搭建

2、安装FastDFS之前，先安装libevent工具包

yum -y install libevent
  • 1

3、安装libfastcommon工具包。

tar -zxvf libfastcommonV1.0.7.tar.gz
cd libfastcommon1.0.7
./make.sh
./make.sh install
cp /usr/lib64/libfastcommon.so /usr/lib/
ll |grep libfast* # 查看lib下是否存在libfastcommon.so
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

4、安装Tracker服务

tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install
cd /usr/bin/
ll fdfs_*  # 查看编译结果是否产生fdfs相关文件
cp FastDFS/conf/* /etc/fdfs/  # 拷贝配置文件到/etc/fdfs/目录下
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

修改配置文件：

vim /etc/fdfs/tracker.conf
  • 1

启动tracker：

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf # 启动Tracker服务
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart # 重启Tracker服务
  • 1
  • 2

5、安装Storage服务

如果是在不同的服务器安装，需要在新的机器编译FastDFS_v5.05.tar.gz源码包，不需要配置Tracker服务而已。 
修改配置文件：

vim /etc/fdfs/storage.conf
  • 1




启动storage服务：

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf # 启动Storage服务
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart # 重启Storage服务
  • 1
  • 2

测试服务

1、修改配置文件/etc/fdfs/client.conf


2、启动测试

/usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg
  • 1

搭建nginx提供http服务

  1. 解压插件压缩包fastdfs-nginx-module_v1.16.tar.gz
  2. 修改/root/fastdfs-nginx-module/src/config文件，把其中的local去掉。 
  3. 对nginx重新config，添加Fastdfs-nginx-module： 
    mkdir -p /var/temp/nginx

./configure --prefix=/usr/local/nginx --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module www.cnzhaotai.com --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --add-module=/root/fastdfs-nginx-module/src # 指定自己的路径

make
make install

    4. 1把/root/fastdfs-nginx-module/src/mod_fastdfs.conf文件复制到/etc/fdfs目录下，进行编辑：




  5. nginx的配置 
    server {
        listen       80;
        server_name  192.168.74.129;

        location /group1/M00/{
  6. 将libfdfsclient.so拷贝至/usr/lib下: 
    cp /usr/lib64/libfdfsclient.so www.mcyllpt.com /usr/lib/
    • 1
  7. 启动nginx。 

测试http服务是否成功

  1. 上传图片：

    /usr/bin/fdfs_test /etc/fdfs/client.conf upload www.078881.cn /root/anti-steal.jpg
    • 1

  2. 访问命令行输出网址:http://192.168.74.129/group1/M00/00/00/wKhKgVslH5GAKcLdAAB1_3EXRGc833_big.png 
  3. 如果不行，检查22122和23000端口防火墙是否关闭，或者临时关闭防火墙： 
    service iptables stop  # 临时关闭防火墙
    • 1

Java使用FastDFS

官方提供一个jar包：fastdfs_client_v1.20.jar。如果使用maven管理，可以添加：

<!-- https://mvnrepository.com/artifact/net.oschina.zcx7878/fastdfs-client-java -->
<dependency>
    <groupId>net.oschina.zcx7878</groupId>
    <artifactId>fastdfs-client-java</artifactId>
    <version>1.27.0.0</version>
</dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

使用方法： 
1. 把FastDFS提供的jar包添加到工程中 
2. 初始化全局配置。加载一个配置文件。 
3. 创建一个TrackerClient对象。 
4. 通过TrackerClient获得一个TrackerServer对象。 
5. 声明一个StorageServer对象，null。 
6. 通过TrackerServer对象和StorageServer对象获得一个StorageClient对象。 
7. 直接调用StorageClient对象方法上传文件即可。 
创建配置文件client.conf:

tracker_server=192.168.74.129:22122
  • 1

测试Java代码：

public class FastdfsTest {

    @Test
    public void testUpload() throws IOException, MyException {
        ClientGlobal.init("E:\\Intelljidea\\taotao\\taotao-manager\\taotao-manager-web\\src\\main\\resources\\properties\\client.conf");

        TrackerClient trackerClient = new TrackerClient(www.leyouzaixian2.com);
        TrackerServer trackerServer = trackerClient.getConnection();

        StorageServer storageServer = null;
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);

        String[] strings = storageClient.upload_file("C:\\Users\\os\\Pictures\\十分妹子.jpg", "jpg", null);
        for (String string : strings) {
            System.out.println(string);

测试结果： 
 

FastDFS工具类：FastDFSClient.java

import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient1;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;

public class FastDFSClient {

    private TrackerClient trackerClient = null;
    private TrackerServer trackerServer = null;
    private StorageServer storageServer = null;
    private StorageClient1 storageClient = null;

    public FastDFSClient(String conf) throws Exception {
        if (conf.contains("classpath:")) {
            conf = conf.replace("classpath:", this.getClass().getResource("/").getPath());
        }
        ClientGlobal.init(conf);
        trackerClient = new TrackerClient();
        trackerServer = trackerClient.getConnection();
        storageServer = null;
        storageClient = new StorageClient1(www.leyouzaixian2.com trackerServer, storageServer);
    }

    /**
     * 上传文件方法
     * <p>Title: uploadFile</p>
     * <p>Description: </p>
     * @param fileName 文件全路径
     * @param extName 文件扩展名，不包含（.）
     * @param metas 文件扩展信息
     * @return
     * @throws Exception
     */
    public String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception {
        String result = storageClient.upload_file1(fileName, extName, metas);
        return result;
    }

    public String uploadFile(String fileName) throws Exception {
        return uploadFile(fileName, null, null);
    }

    public String uploadFile(String fileName, String extName) throws Exception {
        return uploadFile(fileName, extName, null);
    }

    /**
     * 上传文件方法
     * <p>Title: uploadFile</p>
     * <p>Description: </p>
     * @param fileContent 文件的内容，字节数组
     * @param extName 文件扩展名
     * @param metas 文件扩展信息
     * @return
     * @throws Exception
     */
    public String uploadFile(byte[] fileContent, String extName, NameValuePair[] metas) throws Exception {

        String result = storageClient.upload_file1(fileContent, extName, metas);
        return result;
    }

    public String uploadFile(byte[] fileContent) throws Exception {
        return uploadFile(fileContent, null, null);
    }

    public String uploadFile(byte[] fileContent, String extName) throws Exception {
        return uploadFile(fileContent, extName, null);
    }

原文地址：https://www.cnblogs.com/qwangxiao/p/9192513.html

时间： 2024-10-22 02:43:21

JavaEE进阶——FastDFS实现分布式文件系统的相关文章

FastDFS轻量级分布式文件系统部署

FastDFS介绍 FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统,作者余庆,支持 Linux.FreeBSD.AID 等 Unix 系统,解决了大数据存储和读写负载均衡等问题,适合存储 4KB~500MB 之间的小文件,如图片网站.短视频网站.文档.app 下载站等,UC.京东.支付宝.迅雷.酷狗等都有使用. FastDFS上传下载的流程 4.4 利用Java客户端调用FastDFS 服务器安装完毕后,咱们通过Java调用fastdfs 加载Maven依赖 fastdfs 没

分布式文件系统，独立mds与无独立mds优缺点比较

文件系统中metadata是一个关键元素,每一个分布式文件系统的核心所在就是mds的设计. 类似HDFS,Clustre,FastDFS等等分布式文件系统采用的是独立的mds架构,Ceph采用的是讲mds也分布开的设计架构,Gluster的设计是将metadata跟数据文件结合方式来存储,基本上只存跟本地文件有关的metadata消息.下面将Gluster作为无独立mds的代表来评价. 本文是自己个人对于独立的mds与无独立mds的一些比较,欢迎大家来讨论. 独立的mds做得好,相对于Glust

高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高

在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在有5台服务器那将会出现5台只有一个group,每台服务器内的文件内容都相同(互备份)如下图,会造成资源浪费. 因此下面就5台服务器进行优化改造,进一步添加keepalived+nginx多tracker 架构,做到真正的高可用和高性能. FastDFS集群服务器分布 其中keepalived+ngi

分布式文件系统FastDFS动态扩容

当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了. FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份.同一个group中最大容量取决于最小的storage的存储容量.因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1--,但这样做的话成本相当的高,不推荐. 横向扩容是通过集群实现,指新增一个group,增加整个FastDFS

分布式文件系统fastDFS部署

一.部署环境:(CentOS 6.9) tracker server:10.10.1.105 storage server:10.10.1.106  10.10.1.107 client:10.10.1.105 二.FastDFS: 开源的轻量级分布式文件系统: 三个角色: tracker server :跟踪服务器,调度,在内存中记录所有存储组和存储服务器的状态信息: tracker.conf storage server :存储服务器,文件(data)和文件属性(metadata),一组服务

分布式文件系统---&gt;fastDFS

同一个网站,根据客户端用电脑或手机访问不同 出现的会有宽屏或长格式  是用不同的样式表文件决定 但网页文件还是那一个 FASTDFS   主控服务器 (存所有文件目录信息,要找一个文件先找他)---->数据库服务器(存放文件) 分布式文件系统:fastDFS功能:文件存储,文件访问,文件同步(上传下载) 解决大容量存储和负载均衡问题,适合以文件为载体在线服务,如相册网站,视频网站(京东,51cto,赶集,支付宝FastDFS服务分为跟踪器和存储节点两块,存储节点一个组可以是多个,这样使保存的数据

一键架设FastDFS分布式文件系统脚本，基于Centos6

一.使用背景 业务驱动技术需要,原来使用 FTP和 Tomcat upload目录的缺陷日渐严重,受限于业务不断扩大,想使用自动化构建,自动化部署,Zookeeper中心化,分布式RPC DUBBO等技术时,遇到文件存储的瓶颈,因此需求一个使用分布式文件系统注入新的活力. 二.环境 参考 http://blog.csdn.net/hhq163/article/details/46536895 这个博主的博客安装比较新 FastDFS 版本. 在 Docker 下 使用最小化安装的 Centos6

【架构设计】分布式文件系统 FastDFS的原理和安装使用

本文地址 分享提纲: 1.概述 2. 原理 3. 安装 4. 使用 5. 参考文档 1. 概述 1.1)[常见文件系统] Google了一下,流行的开源分布式文件系统有很多,介绍如下: -- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多. -- fastDFS:国人 余庆老师(GitHub)在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mo

分布式文件系统 FastDFS 简介 (1)

FastDFS 基本介绍: 1.开源的轻量级分布式文件系统 2.C++语言研发 3个角色: (1)tracker (2)storage server (3)client tracker server:跟踪服务器,调度:在内存中记录所有存储组和存储服务器的状态信息,不会保留任何元数据 storage server:存储服务器,文件( data )和文件属性( meta data ),以本地文件系统为接口(和mogilefs类似) client:客户端,业务请求发起方,通过专用接口基于tcp协议与t