Centos7.7部署fastdfs分布式文件系统

1.服务器规划

跟踪服务器1:192.168.33.3

跟踪服务器2:192.168.33.4

存储服务器1:192.168.33.5

存储服务器2:192.168.33.6

存储服务器3:192.168.33.7

存储服务器4:192.168.33.8

2.下载相关软件包

git clone  https://github.com/happyfish100/.......
libfastcommon-1.0.7.tar.gz
FastDFS_v5.05.tar.gz
fastdfs-nginx-module_v1.16.tar.gz
nginx-1.13.11.tar.gz
ngx_cache_purge-2.3.tar.gz

3.FastDFS 的安装(所有跟踪服务器和存储服务器均执行如下操作)

yum -y install make cmake gcc gcc-c++ git lrzsz wget automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

4.安装fastdfs依赖包libfastcommon

cd /usr/local/src
tar -zxvf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install

5.安装fastdfs

cd /usr/local/src/
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install

Notice:

采用默认安装方式,相应的文件与目录检查如下:

#)服务脚本

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

#)配置文件(示例配置文件)

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

#) 命令行工具(/usr/bin目录下)

/usr/bin/fdfs_appender_test
/usr/bin/fdfs_appender_test1
/usr/bin/fdfs_append_file
/usr/bin/fdfs_crc32
/usr/bin/fdfs_delete_file
/usr/bin/fdfs_download_file
/usr/bin/fdfs_file_info
/usr/bin/fdfs_monitor
/usr/bin/fdfs_storaged
/usr/bin/fdfs_test
/usr/bin/fdfs_test1
/usr/bin/fdfs_trackerd
/usr/bin/fdfs_upload_appender
/usr/bin/fdfs_upload_file

6.配置tracker服务器(192.168.33.3、192.168.33.4)

1)复制tracker样例配置文件,并重命名

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2)修改tracker配置文件

vim /etc/fdfs/tracker.conf
# 修改的内容如下:
disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口(默认22122)
base_path=/fastdfs/tracker  # 存储日志和数据的根目录
store_lookup=0              # 轮询方式上传

3)创建基础数据目录

mkdir -p /data/fastdfs/tracker

4)启动tracker服务器

/etc/init.d/fdfs_trackerd start

5) 初次启动,会在/data/fastdfs/tracker目录下生成logs、data两个目录

drwxr-xr-x 2 root root 178 May  3 22:34 data
drwxr-xr-x 2 root root  26 May  2 18:57 logs

6)检查FastDFS Tracker Server是否启动成功

ps aux | grep fdfs_trackerd

7)设置tracker server开机启动

chkconfig fdfs_trackerd on

7.配置storage服务器(192.168.33.5、192.168.33.6、192.168.33.7、192.168.33.8)

1)复制storage样例配置文件,并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2)修改storage配置文件

vim /etc/fdfs/storage.conf
# 修改的内容如下:
disabled=false     # 启用配置文件
port=23000                                         # storage的端口号,同一个组的 storage 端口号必须相同
base_path=/data/fastdfs/storage       # 存储日志和数据的根目录
store_path0=/data/fastdfs/storage     # 第一个存储目录
store_path_count=1                    #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.0.121:22122    # tracker服务器的IP地址和端口
tracker_server=192.168.0.122:22122    # 多个tracker直接添加多条配置

3)配置group_name
不同分组配置不同group_name,第一组为group1, 第二组为group2

group_name=group1
group_name=group2

4)创建基础数据目录

mkdir -p /data/fastdfs/storage

5)启动storage服务器

/etc/init.d/fdfs_storaged start

6)初次启动,会在/data/fastdfs/storage目录下生成logs、data两个目录

drwxr-xr-x 259 root root 8192 May  3 23:06 data
drwxr-xr-x   2 root root   26 May  2 19:12 logs

7)检查FastDFS Tracker Server是否启动成功

ps aux | grep fdfs_storaged

8)所有 Storage 节点都启动之后,可以在任一 Storage 节点上使用如下命令查看集群信息

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

Notice:提示ACTIVE代表以生效

9)设置storage server开机启动

chkconfig fdfs_storaged on

8.文件上传测试(192.168.33.3或192.168.33.4)

1)修改Tracker服务器客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置,其它保持默认
base_path=/data/fastdfs/tracker
tracker_server=192.168.0.121:22122 # tracker服务器IP和端口
tracker_server=192.168.0.122:22122 #tracker服务器IP2和端口

2)执行文件上传命令

#/root/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png
返回文件ID号:group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
(能返回以上文件ID,说明文件已经上传成功)

Notice:文件上传测试,可以不用根据文档的方式上传,可以根据自己的文件路径上传!!!

9.在所有storage节点安装nginx(192.168.33.5、192.168.33.6、192.168.33.7、192.168.33.8)

1)fastdfs-nginx-module 作用说明

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进入文件复制, 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137,上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)

2)解压fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src/
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

3)修改 fastdfs-nginx-module的config配置文件

cd fastdfs-nginx-module/src
vim config
将/usr/local/路径改为/usr/,或者直接执行命令:%s+/usr/local/+/usr/+g批量替换

4)安装nginx

cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/fastdfs-nginx-module/src
make && make install

5)复制 fastdfs-nginx-module 源码中的配置文件到 /etc/fdfs 目录,并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf

6)修改以下配置

connect_timeout=10
base_path=/tmp
tracker_server=192.168.0.121:22122  # tracker服务器IP和端口
tracker_server=192.168.0.122:22122  # tracker服务器IP2和端口
group_name=group1                   # 当前服务器的group名
url_have_group_name=true            # url中包含group名称
store_path0=/data/fastdfs/storage   # 存储路径
group_count=2                       # 设置组的个数

#在最后添加
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

Notice:group_name的设置,如果是group1就设置为group1,如果是group2就设置为group2

7)复制 FastDFS 的部分配置文件到 /etc/fdfs 目录

cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

8)配置 Nginx,nginx配置例子

user nobody;
worker_processes 1;
events {
    worker_connections 1024;
}
http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    server {
        listen 8888;
        server_name localhost;
        location ~/group[1-2]/M00 {
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }

}

Notice:

A、8888 端口值是要与/etc/fdfs/storage.conf中的 http.server_port=8888 相对应,因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx,对应的 Nginx 配置为:

location ~/group([0-9])/M00 {
       ngx_fastdfs_module;
}

C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

9)通过浏览器访问测试时上传的文件

http://192.168.33.4:8000/+上传文件返回的ID

10.在tracker节点(192.168.33.3、192.168.33.4)安装nginx

1)在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务

2)安装nginx,加入ngx_cache_purge(加入缓存模块)

cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install

3)配置nginx负载均衡和缓存

user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
    worker_connections 1024;
    use epoll;
}
http {
    include mime.types;
    default_type application/octet-stream;
    #log_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘
    # ‘$status $body_bytes_sent "$http_referer" ‘
    # ‘"$http_user_agent" "$http_x_forwarded_for"‘;
    #access_log logs/access.log main;
    sendfile on;
    tcp_nopush on;
    #keepalive_timeout 0;
    keepalive_timeout 65;
    #gzip on;
    #设置缓存
    server_names_hash_bucket_size 128;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;
    client_max_body_size 300m;
    proxy_redirect off;
    proxy_set_header Host $http_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_connect_timeout 90;
    proxy_send_timeout 90;
    proxy_read_timeout 90;
    proxy_buffer_size 16k;
    proxy_buffers 4 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
    #设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
    proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d;
    proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/tmp;
    #设置 group1 的服务器
    upstream fdfs_group1 {
        server 192.168.0.123:8888 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.0.124:8888 weight=1 max_fails=2 fail_timeout=30s;
    }
    #设置 group2 的服务器
    upstream fdfs_group2 {
        server 192.168.0.125:8888 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.0.126:8888 weight=1 max_fails=2 fail_timeout=30s;
    }
    server {
        listen 8000;
        server_name localhost;
        #charset koi8-r;
        #access_log logs/host.access.log main;
        #设置 group 的负载均衡参数
        location /group1/M00 {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;
            proxy_pass http://fdfs_group1;
            expires 30d;
        }
        location /group2/M00 {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;
            proxy_pass http://fdfs_group2;
            expires 30d;
        }
        #设置清除缓存的访问权限
        location ~/purge(/.*) {
            allow 127.0.0.1;
            allow 192.168.0.0/24;
            deny all;
            proxy_cache_purge http-cache $1$is_args$args;
        }
        #error_page 404 /404.html;
        # redirect server error pages to the static page /50x.html
        #
        error_page 500 502 503 504 /50x.html;
            location = /50x.html {
            root html;
        }
    }
}

4)按以上 nginx 配置文件的要求,创建对应的缓存目录

mkdir -p /data/fastdfs/cache/nginx/proxy_cache
mkdir -p /data/fastdfs/cache/nginx/proxy_cache/tmp

5)启动Nginx

cd /usr/local/nginx/sbin/
./nginx

6) 文件访问测试

通过Tracker访问http://192.168.33.4:8000/+上传文件返回的ID

通过Storage访问http://192.168.33.5:8888/+上传文件返回的ID

原文地址:https://www.cnblogs.com/lfl17718347843/p/12299801.html

时间: 2024-10-07 11:34:11

Centos7.7部署fastdfs分布式文件系统的相关文章

在CentOS7上部署MFS分布式文件系统

MFS原理 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. 1)MFS文件系统的组成 MFS文件系统的组成架构如图所示. 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,文件类型为changelog_ml.*.mfs.当Master服务器数据丢失或者损坏时,可以从日志服务器中取得文件,进行恢复. 数据存储服务器(Chunk

FastDFS 分布式文件系统 搭建部署

搭建部署FastDFS 分布式文件系统 什么是分布式文件系统 分布式文件系统 ( Distributed File System ) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连 分布是文件系统的设计基于客户机/服务器模式 一个典型的网络可能包括多个供多用户访问的服务器 对等特性允许一些系统扮演客户机和服务的双重角色 衡量分布式文件系统的优劣 数据的存储方式 数据的读取速率 数据安全机制 FastDFS介绍 FastDFS是一款开源分布式文件系统,它用纯

07.Linux系统-Fastdfs分布式文件系统-互为主从配置搭建部署

Fastdfs分布式文件系统-互为主从配置部署 1.安装基础依赖 yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel unzip 2.下载安装 libfastcommon wget https://github.com/happyfish100/libfastcommon/archive/master.zip 3.解压安装 unzip master.zipcd libfastcommon

FastDfs 分布式文件系统 (实测成功)

最近公司需要搭建一台FastDfs 分布式文件系统,查询和参考了网络很多资料,但是从头到尾按他们的配置,中间都会或多或少的出错,可能是版本的问题,也可能是其他问题,经过自己不断的研究,终于成功配置完成,而且已经应用线上.现在把经验分享出来供大家参考,也作为自己的一个记录,以便今后用到能回顾一下. 1.下载软件 网上先下载需要安装的软件 2.前期准备 所需的工具下载完毕后,开始搭建准备,首先下载所需全部工具运行命令 yum -y install zlib zlib-devel pcre pcre-

django中使用FastDFS分布式文件系统接口代码实现文件上传、下载、更新、删除

运维使用docker部署好之后FastDFS分布式文件系统之后,提供给我接口如下: fastdfs tracker 192.168.1.216 192.168.1.217 storage 192.168.1.216 192.168.1.217 我们只需要在配置文件中进行配置即可,然后利用客户端提供的接口通过简单的代码就可以将文件上传到分布式文件系统中 至于内部实现机制,可以参考我的另外一篇博客:分布式文件系统Fastdfs原理及部署 再次提醒在安装客户端可能会遇到各种不可控的因素,导致你上传失败

上传图片至fastdfs分布式文件系统并回显

事件,当我们浏览完图片选中一张时,触发onchange事件将图片上传到服务器并回显. 1 <img width="100" height="100" id="allUrl" src="${brand.imgUrl }"/> 2 <input type="hidden" name="imgUrl" id="imgUrl" value="${b

使用Webupload上传图片到FastDFS分布式文件系统

使用Webupload插件上传图片到FastDFS分布式文件系统. 前提条件:1.已安装FastDFS分布式文件系统 2.使用webuploader插件上传文件 3.maven工程已引入FastDFS依赖 图片上传及图片回显部分代码如下: <!-- 添加商品页面 --> <!DOCTYPE html> <html lang="en" xmlns:th="http://www.thymeleaf.org"> <head>

一键架设FastDFS分布式文件系统脚本,基于Centos6

一.使用背景 业务驱动技术需要,原来使用 FTP和 Tomcat upload目录的缺陷日渐严重,受限于业务不断扩大,想使用自动化构建,自动化部署,Zookeeper中心化,分布式RPC DUBBO等技术时,遇到文件存储的瓶颈,因此需求一个使用分布式文件系统注入新的活力. 二.环境 参考 http://blog.csdn.net/hhq163/article/details/46536895 这个博主的博客安装比较新 FastDFS 版本. 在 Docker 下 使用最小化安装的 Centos6

JavaWeb项目架构之FastDFS分布式文件系统

概述 分布式文件系统:Distributed file system, DFS,又叫做网络文件系统:Network File System.一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. FastDFS是用c语言编写的一款开源的分布式文件系统,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合中小文件(建议范围:4KB < f