FastDFS安装、配置、部署(一)

摘要: FastDFS是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,FastDFS非常适用于基于文件服务的站点,例如图片分享和视频分享网站

声明:对于分布式的一些技术点在网上都可以查到,这边对于一些基本的操作做了些相关的总结,并作为分布式框架技术的支持文档,希望可以帮助到大家

FastDFS是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,FastDFS非常适用于基于文件服务的站点,例如图片分享和视频分享网站

FastDFS有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以负载均衡的方式访问;存储服务包括:文件存储,文件同步,提供文件访问接口,同时以key value的方式管理文件的元数据

跟踪和存储服务可以由1台或者多台服务器组成,同时可以动态的添加,删除跟踪和存储服务而不会对在线的服务产生影响,在集群中,tracker服务是对等的

存 储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成, 一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时,同步已有的文件由系统自动完成,同 步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的 卷,这样就扩大了存储系统的容量。

一、开始安装:

1. 在http://code.google.com/p/fastdfs/downloads/list下载所需文件,此外还需先安装好libevent。

2. tar xzf FastDFS_v2.11.tar.gz

3. cd FastDFS
如果支持HTTP, vi make.sh,使用/WITH_HTTPD查找到这一行,输入i进入编辑模式,删除掉前面的注释#,:wq保存退出,如果需要安装成服务,则把下面一行也解开。
./make.sh
./make.sh install

4. 准备几个空闲的端口,可以使用netstat -an | grep 端口号是否被占用。

5. 根据实际情况修改/etc/fdfs下的配置文件,每个上面都有注释说明,如果需要HTTP,别忘了解开最下面的#include http.conf,要带一个#

6. 启动tracker: /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

7. 启动storage: /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf,如果出现错误,可以到步骤5修改配置文件时设置的目录的log目录下查看具体错误原因。

8. 到此安装配置完毕

二、操作使用:在FastDFS安装目录bin下有以下可执行文件。

上传文件:/usr/local/bin/fdfs_upload_file  <config_file> <local_filename>

下载文件:/usr/local/bin/fdfs_download_file <config_file> <file_id> [local_filename]

删除文件:/usr/local/bin/fdfs_delete_file <config_file> <file_id>

monitor: /usr/local/bin/fdfs_monitor /etc/fdfs/client.conf

关闭:

killall fdfs_trackerd

killall fdfs_storaged

/usr/local/bin/stop.sh /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

/usr/local/bin/stop.sh /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

重启:

/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

/usr/local/bin/restart.sh /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

三、测试上传:

./fdfs_test ../conf/client.conf upload QQ.png,可以看到文件上传成功。

在app/fdfs407/data/data/00/3C目录下可以找到刚刚上传的图片:

四、FastDFS上传/下载过程:

首 先客户端 client 发起对 FastDFS 的文件传输动作,是通过连接到某一台 Tracker Server
的指定端口来实现的,Tracker Server 根据目前已掌握的信息,来决定选择哪一台 Storage Server
,然后将这个Storage Server 的地址等信息返回给 client,然后 client 再通过这些信息连接到这台 Storage
Server,将要上传的文件传送到给 Storage Server上。

上传过程:

下载过程:

在我的项目中,一般启动2个tracker和2个storage就可以了,如下所示:

./fdfs_trackerd ../conf/tracker-1.conf
./fdfs_trackerd ../conf/tracker-2.conf
./fdfs_storaged ../conf/storage-g1-1.conf
./fdfs_storaged ../conf/storage-g2-1.conf

声明:所有博客服务于分布式框架,作为框架的技术支持及说明,框架面向企业,是大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目。

愿意了解框架技术或者源码的朋友直接加求求(企鹅):2042849237

时间: 2024-11-02 23:42:09

FastDFS安装、配置、部署(一)的相关文章

FastDFS安装配置手册

FastDFS安装配置手册 目录 FastDFS安装配置手册... 1 一.         安装... 3 (一)       下载FastDFS安装包... 3 (二)       安装tracker. 3 1.      安装... 3 2.      配置... 5 3.      运行... 5 (三)       安装storage. 6 1.      安装... 6 2.      配置... 8 3.      运行... 8 (四)       在storage上安装ngin

fastdfs安装,配置

一:fastdfs安装 1.需要装备的包  fastdfs5.10  libevent-2.0.18-stable.tar  libfastcommon-master 2.先安装libfastcommon-master unzip libfastcommon-master.zip cd libfastcommon-master ./make.sh ./make.sh install libfastcommon 默认安装到了/usr/lib64/libfastcommon.so/usr/lib64

FastDFS安装与部署

(一)下载依赖库libevent(不管解压在哪里必须安装在/usr目录下,否则FastDFS找不到) wget https://github.com/downloads/libevent/libevent/libevent-1.4.14b-stable.tar.gz tar zvxf libevent-1.4.14b-stable.tar.gz ./configure --prefix=/usr make clean; make make install (二)下载FastDFS安装包及ngin

debian8下安装配置部署zabbix3.0

一.安装配置zabbix server web server服务器:172.28.0.187 mysql服务器:172.28.0.237 1.安装web server(172.28.0.187) A.官方文档 zabbix官方提供了基于packages和编译安装方式的安装文档 这里server我使用package方式安装,agent使用源码编译的方式安装,因为server只有一台,而agent有很多台,需要对安装好的agent修改配置并重新打包,以方便后期批量部署. zabbix的package

hive 安装配置部署与测试

系统初始化 mysql5.6 的安装配置 hive 的安装配置处理 一: 系统环境初始化 1.1 系统环境: CentOS6.4x64 安装好的hadoop伪分布环境 所需软件包: apache-hive-0.3.1.tar.gz mysql-connector-java-5.1.27.tar.gz mysql-server-5.6.24-1.el6x86_64 mysql-client-5.6.24-1.el6x86_64 上传到/home/hadoop/yangyang/ 二: 安装mysq

单节点Nginx+FastDFS安装配置&lt;1&gt;

FastDFS 是一个开源的高性能分布式文件系统(DFS). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡. FastDFS有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以负载均衡的方式访问:存储服务包括:文件存储,文件同步,提供文件访问接口,同时以key value的方式管理文件的元数据. FastDFS 系统有三个角色:跟踪服务器(Tracker Server).存储服务器(Storage Server)和客户端(Clien

FastDFS 安装配置

本文以  FastDFS  5.03 源码包作为基础的介绍. 1.背景 公司购买了一套语音分析系统,每天有30G的电话录话需要转换成为文本,然后在语音系统自定义的格式中打上标签,以提供给WEB前端搜索与回放.打标签后的数据约是原始录音的10倍大小,也就是每个月大概有 30G x 10倍 x 30天 = 9T 的数据需要存放,计划最长保留一年的历史数据,总共约 9T x 12个月 = 108T . 在这里,需要考虑到的问题是 A.容量,108T是理想数值,还需要计算做Raid损耗 + 文件系统损耗

openstack-mitaka之镜像服务管理安装配置部署

1.以root用户登陆,创建glance数据库,并为glance数据库授权 2.加载admin-openrc环境变量,用户证书 3.创建服务证书需要完成如下操作: 1)创建glance用户 2)添加 admin 角色到 glance 用户和 service 项目上. 3)创建glance服务实体 4.创建镜像服务的 API 端点: 5.安装glance软件包 6.编辑/etc/glance/glance-api.conf,具体配置如下: 1)[database]配置如下(系统文件的641行左右)

openstack-mitaka之认证服务管理安装配置部署

1.以root用户登陆数据库,并创建数据库keystone,同时为数据库授权,并设置密码为keyston_dbpass 2.keystone认证服务使用带有mod_wsgi的Apache HTTP服务器来服务认证服务请求,端口为5000和35357.因此需要在controller节点安装相应的软件包 4.使用命令生成随机密码令牌 3.编辑/etc/keystone/keystone.conf 1)在[DEFAULT]定义初始管理令牌的值: 2)在 [database] 部分,配置数据库访问: 3

openstack-mitaka之计算服务管理安装配置部署(计算节点安装部署)

对于计算服务,计算节点在配置以前,需要做如下操作 1.修改hosts文件 2.关闭Linux防火墙,firewalld.SELINUX服务,并将iptables.firewalld设置开机关闭 3.安装相应的软件包,并做时间同步 4.开始安装计算服务所需的软件包 5.编辑相关的配置文件/etc/nova/nova.conf 1)在[DEFAULT]设置rabbitMQ消息连接.配置认证服务访问.配置my_ip.配置neutron以及使用驱动: 2)在[oslo_messaging_rabbit]