分布式文件系统Fastdfs 详细安装笔记

Fastdfs安装教程

1、环境

操作系统 Centos 7.0 X64最小化安装

Track1 :192.168.121.131

Track2 :192.168.121.132

Storage1 :192.168.121.133

Storage1 :192.168.121.134

FastDFS 下载地址

https://sourceforge.net/projects/fastdfs/files/?source=navbar

2、在Track上安装fastdfs

首先,安装依赖包

yum install -y gcc-c++ wget unzip perl pcre-devel zlib-devel

192.168.121.131

下载代码包

wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.08/FastDFS_v5.08.tar.gz

解压后我们查看INSTALL文件,上面写了安装步骤

如图,要安装FastDFS我们要先安装libfastcommon

所以下载安装libfastcommon

wget https://codeload.github.com/happyfish100/libfastcommon/zip/master

unzip master && cd libfastcommon-maste

./make.sh  && ./make.sh install

再回到FaastDFS安装包,执行安装

cd ../FastDFS/

./make.sh && ./make.sh install

安装完成

然后在192.168.121.132 133  134上面执行同样操作

3、配置Track

修改tracker.conf 文件

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

mkdir /data/fastdfs

#配置data和log的存放路径

vim /etc/fdfs/tracker.conf

修改 base_path=/home/yuqing/fastdfs为

base_path=/data/fastdfs

修改client.conf

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

#设置参数

vim /etc/fdfs/client.conf

base_path=/data/fastdfs

tracker_server=192.168.121.130:22122

tracker_server=192.168.121.131:22122

http.tracker_server_port=80

启动服务

/etc/init.d/fdfs_trackerd start

打开防火墙

firewall-cmd --add-port=22122/tcp

查看状态

fdfs_monitor /etc/fdfs/client.conf

4、配置Storage

cp /root/FastDFS/conf/http.conf /etc/fdfs/

cp /root/FastDFS/conf/mime.types /etc/fdfs/

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

vim /etc/fdfs/storage.conf

#修改base路径

base_path=/data/fastdfs

#修改存储路径

store_path0=/data/fastdfs

#设置track IP

tracker_server=192.168.121.132:22122

tracker_server=192.168.121.133:22122

#修改web端口

http.server_port=80

启动服务

/etc/init.d/fdfs_storaged start

添加防火墙

firewall-cmd --add-port=23000/tcp

配置nginx并安装模块

wget http://nginx.org/download/nginx-1.8.1.tar.gz

wget http://nchc.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

拷贝配置文件

cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

编译安装nginx

./configure --prefix=/usr/local/nginx --add-module=../fastdfs-nginx-module/src/

这步会报错

解决办法是修改fastdfs模块引用fastdfs的路径

因为Fastdfs的prefix 是/usr

这里引用的是/usr/local

vim ../fastdfs-nginx-module/src/config

#去掉local

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

CORE_LIBS="$CORE_LIBS -L/usr/lib -lfastcommon -lfdfsclient"

然后重新编译安装就能过了

make clean

./configure --prefix=/usr/local/nginx --add-module=../fastdfs-nginx-module/src/

Make && make install

修改模块配置文件

vim /etc/fdfs/mod_fastdfs.conf

#日志路径

base_path=/data/log

tracker_server=192.168.121.130:22122

tracker_server=192.168.121.131:22122

#存储路径

store_path0=/data/fastdfs

url_have_group_name = true

修改nginx配置

vim /usr/local/nginx/conf/nginx.conf

location /group1/M00 {

root   /data/fastdfs/data;

ngx_fastdfs_module;

}

启动nginx

/usr/local/nginx/sbin/nginx -s

开防火墙

firewall-cmd --add-port=23000/tcp

查看fastdfs状态

fdfs_monitor /etc/fdfs/storage.conf

状态为ACTIVE是正常

启动成功

5、测试上传

用Track1和Track2来上传都是可以的

这里用Track1

fdfs_test /etc/fdfs/client.conf upload /tmp/30adcbef76094b360fade2f0a5cc7cd98d109df4.jpg

上传成功,获得一个图片地址

图片实际保存路径为

/data/fastdfs/data/00/00/wKh5hFblTomANCAAAADD0tsLWr8597.jpg

访问图片测试

正常访问

再访问另一台Storage

访问正常,实验完成

由于有两台Storage和Track,任何一台s挂掉都是有备份的

Track和stoage可以用keepalive来做高可用实现故障转移 这里就不多说了。

时间: 2024-12-28 15:11:35

分布式文件系统Fastdfs 详细安装笔记的相关文章

轻量级分布式文件系统FastDFS使用安装说明手册(新手入门级)

轻量级分布式文件系统FastDFS使用安装说明手册(新手入门级) 实验室所在的课题组以研究云计算为主,但所有的研究都是在基于理论的凭空想像,缺少分布式环境的平台的实践,云计算神马的都是浮云了.因此,我想借助Hadoop把实验室的服务器搭建出一个基础的分布式实验环境,方便于以后进行实验测试神马的.无意中,看到了一款开源的轻量级分布式文件系统FastDFS,它是用纯C语言实现,详细信息可参见博客:分布式文件系统FastDFS架构剖析.通过收集资料,自己动手做了一些安装和测试使用,现在对前人的一些经验

【架构设计】分布式文件系统 FastDFS的原理和安装使用

本文地址 分享提纲: 1.概述 2. 原理 3. 安装 4. 使用 5. 参考文档 1. 概述 1.1)[常见文件系统] Google了一下,流行的开源分布式文件系统有很多,介绍如下: -- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多. -- fastDFS:国人 余庆老师(GitHub)在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mo

记录:CentOS 7 安装配置分布式文件系统 FastDFS 5.1.1

CentOS 7 安装配置分布式文件系统 FastDFS 5.1.1 软件下载:http://download.csdn.net/download/qingchunwuxian1993/9897458 yum-y install net-tools.x86_64 前言 项目中用到文件服务器,有朋友推荐用FastDFS,所以就了解学习了一番,感觉确实颇为强大,在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级分布式文件系统,本篇文章就记录一下FastDFS的最新版本5.1.1在CentOS7

高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高

在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在有5台服务器那将会出现5台只有一个group,每台服务器内的文件内容都相同(互备份)如下图,会造成资源浪费. 因此下面就5台服务器进行优化改造,进一步添加keepalived+nginx多tracker 架构,做到真正的高可用和高性能. FastDFS集群服务器分布 其中keepalived+ngi

分布式文件系统fastDFS

分布式文件系统fastDFS 1.什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统.它解决了大数据量存储和负载均衡等问题.特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站.视频网站等等.在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务. 2.FastDFS架构和原理 FastDFS服务端有三个角色:跟踪服务器(tracker server).存储服务器(storage server)

分布式文件系统FastDFS动态扩容

当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了. FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份.同一个group中最大容量取决于最小的storage的存储容量.因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1--,但这样做的话成本相当的高,不推荐. 横向扩容是通过集群实现,指新增一个group,增加整个FastDFS

Linux下分布式文件系统FastDFS安装与配置

1.fastdfs 分布式文件系统,对文件进行管理,主要功能包括文件存储.文件同步.文件访问(文件的上传和下载)等, 解决了大容量存储和负载均衡的问题. 2.fastdfs的两个核心分别是跟踪器(tracker)和存储节点(storage),其中tracker主要的功能是完成调度工作和实现负载均衡, storage主要的功能是存储数据. 3.fastdfs文件分布系统中实现文件上传下载的原理: 上传: 1)Client(客户端)要通过Tracker server(跟踪服务器)将文件上传到Stor

分布式文件系统fastDFS部署

一.部署环境:(CentOS 6.9) tracker server:10.10.1.105 storage server:10.10.1.106  10.10.1.107 client:10.10.1.105 二.FastDFS: 开源的轻量级分布式文件系统: 三个角色: tracker server :跟踪服务器,调度,在内存中记录所有存储组和存储服务器的状态信息: tracker.conf storage server :存储服务器,文件(data)和文件属性(metadata),一组服务

分布式文件系统---&gt;fastDFS

同一个网站,根据客户端用电脑或手机访问不同 出现的会有宽屏或长格式  是用不同的样式表文件决定 但网页文件还是那一个 FASTDFS   主控服务器 (存所有文件目录信息,要找一个文件先找他)---->数据库服务器(存放文件) 分布式文件系统:fastDFS功能:文件存储,文件访问,文件同步(上传下载) 解决大容量存储和负载均衡问题,适合以文件为载体在线服务,如相册网站,视频网站(京东,51cto,赶集,支付宝FastDFS服务分为跟踪器和存储节点两块,存储节点一个组可以是多个,这样使保存的数据