分布式文件系统fastDFS部署

一、部署环境:(CentOS 6.9)

tracker server:10.10.1.105

storage server:10.10.1.106  10.10.1.107

client:10.10.1.105

二、FastDFS: 开源的轻量级分布式文件系统;

三个角色:

tracker server :跟踪服务器,调度,在内存中记录所有存储组和存储服务器的状态信息; tracker.conf

storage server :存储服务器,文件(data)和文件属性(metadata),一组服务器; storage.conf

client :客户端,业务请求发起方,通过专用接口基于TCP协议与tracker以及storage server进行交互;client.conf

存储:

group_name/M##/&&/&&/file_name

group_name :存储组的组名;上传完成后,需要客户端自行保存;

M## :服务器配置的虚拟路径,与磁盘选项store_path#对应;

两级以两位16进制数字名字的目录;

文件名:与原文件名并不相同;由storage server根据特定信息生成,文件名包含:源存储服务器的IP地址、文件创建时间戳、文件大小、随机数和文件扩展名等;

三、安装

1、安装依赖包libfastcommon

2、安装fastDFS

3、需要关闭iptables、selinux

安装方式一:

# git clone https://github.com/happyfish100/fastdfs.git

# git clone https://github.com/happyfish100/libfastcommon.git

# git clone https://github.com/happyfish100/fastdfs-nginx-module.git

mv libfastcommon libfastcommon-1.0.36

tar zcf libfastcommon-1.0.36.tar.gz libfastcommon-1.0.36

mv fastdfs fastdfs-5.0.10

tar zcf fastdfs-5.0.10.tar.gz fastdfs-5.0.10

mkdir rpmbuild/{SOURCES,SPECS} -pv

cp /tools/libfastcommon-1.0.36.tar.gz rpmbuild/SOURCES/

cp /tools/fastdfs-5.0.10.tar.gz rpmbuild/SOURCES/

cp /tools/libfastcommon-1.0.36/libfastcommon.spec rpmbuild/SPECS/

cp /tools/fastdfs-5.0.10/fastdfs.spec rpmbuild/SPECS/

yum install rpm-build

rpmbuild -ba libfastcommon.spec

rpmbuild -ba fastdfs.spec

生成rpm包直接安装即可

安装方式二:

tar xzf libfastcommon_v1.23.tar.gz

cd libfastcommon

./make.sh

./make.sh install

tar xzf FastDFS_v5.08.tar.gz

cd FastDFS

./make.sh

./make.sh install

tracker和storage配置完成后测试上传:

# fdfs_upload_file ./client.conf /usr/share/backgrounds/centos_2048x1536_logoonly.jpg

group1/M00/00/00/CgoBalkG2PmAThTWAAD_7aV8rDY985.jpg

四、安装fastdfs-nginx-module模块,通过http协议访问文件

注:以下两个文件需要复制到storage的目录

cp fastdfs-5.0.10/conf/{http.conf,mime.types}   /etc/fdfs/

安装此模块需要重新编译nginx

1、./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module  --with-http_gzip_static_module --with-http_sub_module --add-module=/root/soft/fastdfs-nginx-module/src

2、nginx.conf 文件加入以下配置

location ~ /group[0-9]+/M00 {

root /home/fastdfs/data;

ngx_fastdfs_module;

}

3、ln -s /home/fastdfs/data  /home/fastdfs/data/M00

4、配置mod_fastdfs.conf文件

cp /root/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

mod_fastdfs.conf重点配置项:

tracker_server=10.10.1.105:22122

url_have_group_name = true   ***开启组名访问

group_count = 1

[group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/home/fastdfs

5、重载nginx服务器

以组名访问时:

location ~ /group[0-9]+/M00 {

root /home/fastdfs/data;

ngx_fastdfs_module;

}

http://10.10.1.106/group1/M00/00/00/CgoBalj9wqaAeNaJAA44dR-dxTs490.jpg

时间: 2024-08-27 06:57:10

分布式文件系统fastDFS部署的相关文章

【架构设计】分布式文件系统 FastDFS的原理和安装使用

本文地址 分享提纲: 1.概述 2. 原理 3. 安装 4. 使用 5. 参考文档 1. 概述 1.1)[常见文件系统] Google了一下,流行的开源分布式文件系统有很多,介绍如下: -- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多. -- fastDFS:国人 余庆老师(GitHub)在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mo

记录:CentOS 7 安装配置分布式文件系统 FastDFS 5.1.1

CentOS 7 安装配置分布式文件系统 FastDFS 5.1.1 软件下载:http://download.csdn.net/download/qingchunwuxian1993/9897458 yum-y install net-tools.x86_64 前言 项目中用到文件服务器,有朋友推荐用FastDFS,所以就了解学习了一番,感觉确实颇为强大,在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级分布式文件系统,本篇文章就记录一下FastDFS的最新版本5.1.1在CentOS7

高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高

在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在有5台服务器那将会出现5台只有一个group,每台服务器内的文件内容都相同(互备份)如下图,会造成资源浪费. 因此下面就5台服务器进行优化改造,进一步添加keepalived+nginx多tracker 架构,做到真正的高可用和高性能. FastDFS集群服务器分布 其中keepalived+ngi

轻量级分布式文件系统FastDFS使用安装说明手册(新手入门级)

轻量级分布式文件系统FastDFS使用安装说明手册(新手入门级) 实验室所在的课题组以研究云计算为主,但所有的研究都是在基于理论的凭空想像,缺少分布式环境的平台的实践,云计算神马的都是浮云了.因此,我想借助Hadoop把实验室的服务器搭建出一个基础的分布式实验环境,方便于以后进行实验测试神马的.无意中,看到了一款开源的轻量级分布式文件系统FastDFS,它是用纯C语言实现,详细信息可参见博客:分布式文件系统FastDFS架构剖析.通过收集资料,自己动手做了一些安装和测试使用,现在对前人的一些经验

分布式文件系统fastDFS

分布式文件系统fastDFS 1.什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统.它解决了大数据量存储和负载均衡等问题.特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站.视频网站等等.在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务. 2.FastDFS架构和原理 FastDFS服务端有三个角色:跟踪服务器(tracker server).存储服务器(storage server)

分布式文件系统FastDFS动态扩容

当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了. FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份.同一个group中最大容量取决于最小的storage的存储容量.因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1--,但这样做的话成本相当的高,不推荐. 横向扩容是通过集群实现,指新增一个group,增加整个FastDFS

MFS分布式文件系统的部署

MFS分布式文件系统的部署 MFS简介 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS文件系统的组成. 元数据服务器(master):负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):存放日志文件. 数据存储服务器(Chunk Server):真正存储数据的服务器. 客户端(client):用来挂载MFS文件文件系统的. MFS读取数据的处理过程. 1. 客户端向元数据服务器发出读请求. 2. 元

FastDFS 分布式文件系统 搭建部署

搭建部署FastDFS 分布式文件系统 什么是分布式文件系统 分布式文件系统 ( Distributed File System ) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连 分布是文件系统的设计基于客户机/服务器模式 一个典型的网络可能包括多个供多用户访问的服务器 对等特性允许一些系统扮演客户机和服务的双重角色 衡量分布式文件系统的优劣 数据的存储方式 数据的读取速率 数据安全机制 FastDFS介绍 FastDFS是一款开源分布式文件系统,它用纯

分布式文件系统FastDFS介绍和配置过程

http://ylw6006.blog.51cto.com/470441/948729/ 由于网站使用nfs共享方式保存用户上传的图片,附件等资料,然后通过apache下载的方式供用户访问,在网站架构初期,使用这种简单的方式实现了静态资源的读写分离,但随着网站数据量的增加,图片服务器渐渐成为整个网站的短板,缘次催生了使用fastfds的想法,故而先进行一番简单的测试!在开始之前还是先来看看fastfds的介绍信息: FastDFS is an open source high performan