多节点FastDFS存储部署

安装环境

Cnetos 6.7 64位

fastdfs-5.05.tar.gz

一共三个节点 node1:192.168.30.93;node2:192.168.30.94;node3:192.168.30.95

一、安装前准备

1、因为FDFS为开源的java程序,所以需要安装jdk

2、下载安装依赖包libfastcommon

# wget https://github.com/happyfish100/libfastcommon/archive/master.zip
# unzip master.zip  
# cd libfastcommon-master/
# ./make.sh
# ./make.sh install

二、安装fastdfs-5.05.tar.gz

1、以下操作在三个节点都要进行:

# cp fastdfs-5.05.tar.gz /usr/src
# tar zxvf fastdfs-5.05.tar.gz
# cd fastdfs-5.05
# ./make.sh
# ./make.sh install

2、源码安装完成后,可在/usr/bin下查看fdfs的可执行文件

3、/etc/fdfs下为配置模板

三、修改配置文件

1、本次部署一共三个节点,94和95作为tracker节点,负责调度,引导存储,另外这三个节点都作为storage节点,负责存储。

2、配置tracker节点,94和95配置相同

# cd /etc/fdfs
# cp tracker.conf.sample tracker.conf
# vim tracker.conf
  disabled=false #此项需要设置为false
  port=22122  #此项为tracker监听端口
  base_path=/home/yuqing/fastdfs #此项为tracker的日志和同步的bin文件存放目录
  store_lookup=2  #此项为存储方式,其中0为轮流存储,1为指定组,2为智能存储,首选空间较大组
  store_group=group2  #当存储方式为1时,指定的存储组
  http.server_port=8080 #这个是如果要做web界面时候用的http端口

3、配置storage节点,三个节点配置相同

# cp storage.conf.sample storage.conf
# vim storage.conf
   disabled=false #设置为false
   group_name=group1 #表示组名
   port=23000 #storage监听端口
   base_path=/home/yuqing/fastdfs #storage日志及bin文件存放位置
   store_path_count=1 #存储路径数
   store_path0=/home/yuqing/fastdfs #文件存储位置
   tracker_server=192.168.209.121:22122 #tracker节点位置,可写多项,因此将94、95按格式填写
   http.server_port=8888 #web接口,如果不加nginx可不管,但是要tracker和storage一样

4、配置client

# cp client.conf.sample client.conf
# vim client.conf
  base_path=/home/yuqing/fastdfs #文件存储位置
  tracker_server=192.168.0.197:22122 #同上
  http.tracker_server_port=80 #同上

四、启动服务

1、启动tracker

# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
# tail -f /home/yuqing/fastdfs/logs/trackerd.log
  [2016-08-31 16:06:11] INFO - FastDFS v5.05, base_path=/data/linkdood/logs/fastdfs,
   run_by_group=, run_by_user=, connect_timeout=30s, network_timeout=60s, port=22122, 
   bind_addr=, max_connections=256, accept_threads=1, work_threads=4, store_lookup=2, 
   store_group=, store_server=0, store_path=0, reserved_storage_space=10.00%, downloa
   d_server=0, allow_ip_count=-1, sync_log_buff_interval=10s, check_active_interval=
   120s, thread_stack_size=64 KB, storage_ip_changed_auto_adjust=1, storage_sync_file
   _max_delay=86400s, storage_sync_file_max_time=300s, use_trunk_file=0, slot_min_siz
   e=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, tr
   unk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_fil
   e_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlo
   g=0, trunk_compress_binlog_min_interval=0, use_storage_id=0, id_type_in_filename=ip
   , storage_id_count=0, rotate_error_log=0, error_log_rotate_time=00:00, rotate_error
   _log_size=0, log_file_keep_days=0, store_slave_file_use_link=0, use_connection_pool
   =0, g_connection_pool_max_idle_time=3600s

如果查看日志为以上信息,表示启动成功。

2、启动storage

# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
# tail -f /home/yuqing/fastdfs/logs/storaged.log
  [2016-08-31 16:08:28] INFO - file: storage_param_getter.c, line: 191, use_storage_id=0,
   id_type_in_filename=ip, storage_ip_changed_auto_adjust=1, store_path=0, reserved_stor
   age_space=10.00%, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file
   _size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_crea
   te_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occu
   pying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, store_s
   lave_file_use_link=0
  [2016-08-31 16:08:28] INFO - file: storage_func.c, line: 254, tracker_client_ip: 192.168
  .30.94, my_server_id_str: 192.168.30.94, g_server_id_in_filename: -2079846228
  [2016-08-31 16:08:28] INFO - file: tracker_client_thread.c, line: 310, successfully con
  nect to tracker server 192.168.30.94:22122, as a tracker client, my ip is 192.168.30.94

如果查看日志看到以上信息,表示启动成功。

3、启动检测进程

# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

active为已激活的存储节点

STORAGE SERVER的状态通常有七种:

# FDFS_STORAGE_STATUS:INIT      :初始化,尚未得到同步已有数据的源服务器

# FDFS_STORAGE_STATUS:WAIT_SYNC   :等待同步,已得到同步已有数据的源服务器

# FDFS_STORAGE_STATUS:SYNCING    :同步中

# FDFS_STORAGE_STATUS:DELETED    :已删除,该服务器从本组中摘除

# FDFS_STORAGE_STATUS:OFFLINE    :离线

# FDFS_STORAGE_STATUS:ONLINE     :在线,尚不能提供服务

# FDFS_STORAGE_STATUS:ACTIVE     :在线,可以提供服务

正常状态必须是ACTIVE

如果为WAIT_SYNC等待一会即可

如果是INIT,可删除节点重新加入

删除命令为

# /usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.30.95

然后显示storage3为删除

存储文件命令为

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.txt
  group1/M00/00/00/wKgeXlfGo2yAB9YY653.txt

文件下载命令

# /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgeXlfGo2yAB9YY653.txt

删除文件命令

# /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgeXlfGo2yAB9YY653.txt
时间: 2024-07-29 02:11:27

多节点FastDFS存储部署的相关文章

FastDFS安装部署

1.安装gcc编译器 yum install -y gcc 2.解压安装包 git clone https://github.com/happyfish100/libfastcommon.git cd libfastcommon ./make.sh && ./make.sh install 上传fastdfs源码包到服务器,这里版本用fastdfs_v5.0.8.tar.gz tar xf fastdfs_v5.0.8.tar.gz cd FastDFS ./make.sh &&a

OpenStack-Icehouse(nova-network)多节点基础环境部署

内容列表 一.组件介绍 二.系统准备 三.Controller Node部署     1.MySQL     2.Qpid     3.Glance     4.Nova     5.Horizon 四.Compute Node部署     1.Nova-Compute     2.Nova-Network 五.部署云主机 参考文档: http://docs.openstack.org/icehouse/install-guide/install/yum/openstack-install-gu

使用本脚本可以自动批量完成中间节点环境的部署工作,包括:Nginx编译安装、添加程序管理脚本、设置开机启动、反向代理配置、证书分发、添加iptables规则等

使用本脚本可以自动批量完成中间节点环境的部署工作,包括:Nginx编译安装.添加程序管理脚本.设置开机启动.反向代理配置.证书分发.添加iptables规则等.脚本支持自定义nginx安装版本.设置编译模块.配置监听端口等. 1. Nginx Role规则说明 本脚本用于中间节点(Nginx反向代理)环境的自动化配置,主要内容包括: 安装基础依赖环境: 创建nginx启动用户(支持自定义用户): 下载nginx安装文件(可自定义nginx版本): 解压安装文件: 执行编译安装(可自定义编译参数和

给出两个 非空 的链表用来表示两个非负的整数。其中,它们各自的位数是按照 逆序 的方式存储的,并且它们的每个节点只能存储 一位 数字。

给出两个 非空 的链表用来表示两个非负的整数.其中,它们各自的位数是按照 逆序 的方式存储的,并且它们的每个节点只能存储 一位 数字. 如果,我们将这两个数相加起来,则会返回一个新的链表来表示它们的和. 您可以假设除了数字 0 之外,这两个数都不会以 0 开头. 示例: 输入:(2 -> 4 -> 3) + (5 -> 6 -> 4)输出:7 -> 0 -> 8原因:342 + 465 = 807 来源:力扣(LeetCode)链接:https://leetcode-c

MFS分布式文件系统【3】存储节点 CHUNK SERVER 部署

[[email protected]_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs [[email protected]_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/nologin -u 513 [[email protected]_hs_252 mfs-1.6.27]# ./configure --prefix=/usr/local/mfs  --with-default-user=mfs --with-default-

龙存存储部署管理维护文档

目录 龙存存储集群部署2 元数据服务器部署2 数据存储服务器部署3 客户端部署3 监控部署4 单机版LoongBox4 loongBox部署4 登陆WEB页面进行配置5 集群监控部署LeoManagerNeo10 连接配置10 打开连接12 配置存储服务器13 配置元数据服务器:14 配置应用服务器:15 启动元数据服务器16 启动存储服务器16 启动应用服务器16 NAS管理:17 NFS和Samba共享21 设置文件分布(数据副本模式)25 同步部署26 扩容29 故障处理29   龙存存储

openstack-swift云存储部署(一)

最近因为工作的需要搭建了一套swift云存储架构 我们先来解读一下里面的技术知识点:swift服务是属于openstack中的一种组件服务,openstack中的组件服务还有keystone.Nova.glance等,不同的服务负责不同的功能,我们今天搭建swift+keystone,swift负责存储数据对象,keystone为它提供认证和授权,但是keystone服务是属于共享范畴,为openstack中的所有其他服务管理者endpoint的目录,并负责认证和授权.可以简单地理解为访问Ope

cloudstack二级存储部署(四)

下边是二级存储服务器部署 配置二级存储 1:安装服务包 [[email protected] sysconfig]# yum -y install rpcbind nfs-utils 2:创建共享目录 [[email protected] sysconfig]# mkdir /secondary 3:创建配置文件 [[email protected] sysconfig]# vim /etc/exports /secondary 192.168.1.0/24(rw,no_root_squash)

FastDFS存储-单机配置

由于网站使用nfs共享方式保存用户上传的图片,附件等资料,然后通过apache下载的方式供用户访问,在网站架构初期,使用这 种简单的方式实现了静态资源的读写分离,但随着网站数据量的增加,图片服务器渐渐成为整个网站的短板,缘次催生了使用fastfds的想法,故而先进行一 番简单的测试!在开始之前还是先来看看fastfds的介绍信息: fastdfs是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,fastfd非常适用于基于文件服务的站点,例如