一次替换FastDFS数据目录引发的文件上传和访问异常

1、图片访问异常

问题描述

搭建一台新环境的FastDFS文件服务器，刚搭建好的时候，上传了一张图片，正常，但是因为当时端口没有开，没有验证访问的问题。环境暂时搁置等待测试。
后来在测试环节，因为需要上传的图片文件太多，因此直接将生产环境的dfs的数据目录拷贝过去，替换了新环境的数据目录，同时以下文件还是用的新环境原有的文件（ /data/dfs就是数据目录）：

/data/dfs/tracker 目录
/data/dfs/group1/data/fdfs_storaged.pid
/data/dfs/group1/data/storage_stat.dat
/data/dfs/group1/data/storage_trunk.dat
/data/dfs/group1/data/sync 目录
/data/dfs/group1/data/trunk 目录

然后重启了tracker、storage和nginx服务，但是发现图片访问不到，直接页面是一片空白，使用curl访问，也是没有任何返回，就卡在那里，只能Ctrl+c退出来：

[[email protected] logs]#  curl  http://10.0.0.10:8090/groupA/M00/00/00/cErM6luMkf-IbhOWAAhHLHLDXwwAAAABQKwYD8ACEdE376.jpg-m

#没有任何返回，只能Ctrl+c退出来。
[[email protected] logs]#

原因分析

1、查看端口和进程

查看storage和tracker进程，都还在：

[[email protected] ~]#  ps -ef|grep storage.conf
root      1126     1  0 14:57 ?        00:00:00 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
root      5139  5071  0 15:13 pts/8    00:00:00 grep --color=auto storage.conf
[[email protected] ~]#  ps -ef|grep tracker.conf
root      5149  5071  0 15:13 pts/8    00:00:00 grep --color=auto tracker.conf
root     30168     1  0 14:44 ?        00:00:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
[[email protected] ~]#

查看tracker、storage的端口，都是起来的，防火墙也打开了相应的端口：

[[email protected] ~]# netstat -tlunp|grep 23000
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      1126/fdfs_storaged
[[email protected] ~]# netstat -tlunp|grep 22122
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      30168/fdfs_trackerd

然后查看nginx，发现端口也是起来的，但是进程有异常，只有一个master进程：

[[email protected] sbin]# ps -ef|grep nginx
root       744 22962  0 10:37 pts/8    00:00:00 grep --color=auto nginx
root     29076     1  0 10:21 ?        00:00:00 nginx: master process ./nginx     #只有一个master进程
[[email protected] sbin]#

2、查看日志

查看nginx日志，在error_log重复报下面几行错误

ngx_http_fastdfs_process_init pid=29077
[2018-09-05 10:21:46] ERROR - file: shared_func.c, line: 960, open file /etc/fdfs/mod_fastdfs.conf fail, errno: 13, error info: Permission denied
[2018-09-05 10:21:46] ERROR - file: /usr/local/fastdfs-nginx-module/src/common.c, line: 155, load conf file "/etc/fdfs/mod_fastdfs.conf" fail, ret code: 13
2018/09/05 10:21:46 [alert] 29076#0: worker process 29077 exited with fatal code 2 and cannot be respawned

根据报错信息的Permission denied和网上一些博文，同时对比了生产环境FastDFs服务器上的/etc/dfs目录的权限，尝试修改了/etc/dfs目录的权限，改成了755，并重启tracker、storage、nginx服务：

# chmod 755 /etc/fdfs
# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
# cd /usr/local/nginx/sbin/
# ./nginx -s reload

然后查看nginx的进程，就有worker进程了：

[[email protected] ~]# ps -ef|grep nginx
nobody     363 29076  0 14:55 ?        00:00:00 nginx: worker process         #有worker进程了
root      8456  8381  0 15:27 pts/8    00:00:00 grep --color=auto nginx
root     29076     1  0 10:21 ?        00:00:00 nginx: master process ./nginx
[[email protected] ~]#

访问图片，有内容返回了：

[[email protected] logs]#  curl  http://10.0.0.10:8090/groupA/M00/00/00/cErM6luMkf-IbhOWAAhHLHLDXwwAAAABQKwYD8ACEdE376.jpg-m
fileExtNamejpgfileLength542508fileNameIMG_1171.jpg
[[email protected] logs]#

让测试在新环境上测试了一下，图片能够正常访问了。

2、图片上传异常

问题描述

在测试反馈图片访问可以正常的时候，为了保险，测试了一下图片上传功能，发现上传图片出现问题：

[[email protected] ~]#  /usr/bin/fdfs_test /etc/fdfs/client.conf upload /tmp/test/test10.png
This is FastDFS client test program v5.05

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2018-09-05 11:08:23] DEBUG - base_path=/data/dfs/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group:
        server 1. group_name=, ip_addr=10.0.0.10, port=23000

group_name=groupA, ip_addr=10.0.0.10, port=23000
[2018-09-05 11:08:23] ERROR - file: tracker_proto.c, line: 48, server: 10.0.0.10:23000, response status 17 != 0
storage_upload_by_filename
upload file fail, error no: 17, error info: File exists    #这里报File exists，但是换了很多张新图片上传，都报这个错
[[email protected] ~]#

原因分析

查看storaged.log日志，发现在上传文件的同时，日志就会打印出这几行报错信息：

[2018-09-05 11:15:45] ERROR - file: storage_dio.c, line: 885, trunk file: /data/dfs/group1/data/00/00/000001, offset: 299076 already occupied by other file, trunk header info: file_type=-88, alloc_size=-1127393023, file_size=-397478323, crc32=485419875, mtime=-592647312, ext_name(7)=(<\?f§r
[2018-09-05 11:15:45] WARNING - file: trunk_mgr/trunk_mem.c, line: 1620, trunk space already be occupied, delete this trunk space, trunk info: store_path_index=0, sub_path_high=0, sub_path_low=0, id=1, offset=299076, size=24885, status=1

第一次遇到这种问题，于是将报错信息在百度和Google找了很久，没有找到相应的解决办法。因为刚刚安装好FastDFs服务的时候，图片上传功能是正常的于是怀疑可能是替换数据目录引发的问题。因此尝试将数据目录还原成了最初安装的那个原始的数据目录，发现可以正常上传。那就是数据目录的问题了

再看报错信息，指出了是和/data/dfs/group1/data/00/00/000001这个文件有关。而且用生产环境拷贝过去数据目录，就只能访问到文件，但是不能上传。所以结合报错信息，重新使用线上环境的那套数据目录。除了上面提到的

/data/dfs/tracker 目录
/data/dfs/group1/data/fdfs_storaged.pid
/data/dfs/group1/data/storage_stat.dat
/data/dfs/group1/data/storage_trunk.dat
/data/dfs/group1/data/sync 目录
/data/dfs/group1/data/trunk 目录

这部分文件使用的新环境本身的文件之外，还将/data/dfs/group1/data/00/00/000001文件也替换成了新环境本身原始的000001文件。然后重启tracker、storage、nginx服务，发现上传功能恢复了：

[[email protected] data]# /usr/bin/fdfs_test /etc/fdfs/client.conf upload /tmp/test/test2.png                                                                                                                                          This is FastDFS client test program v5.05

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2018-09-05 15:40:56] DEBUG - base_path=/data/dfs/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group:
        server 1. group_name=, ip_addr=10.0.0.10, port=23000

group_name=groupA, ip_addr=10.0.0.10, port=23000
storage_upload_by_filename
group_name=groupA, remote_filename=M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442.png
source ip address: 10.0.0.10
file timestamp=2018-09-05 15:40:56
file size=17697
file crc32=420302403
example file url: http://10.0.0.10:8090/groupA/M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442.png
storage_upload_slave_by_filename
group_name=groupA, remote_filename=M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png
source ip address: 10.0.0.10
file timestamp=2018-09-05 15:40:56
file size=17697
file crc32=420302403
example file url: http://10.0.0.10:8090/groupA/M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png
[[email protected] data]#

查看数据目录，这个文件也是存在的：

[[email protected] data]#  ll /data/dfs/group1/data/00/00/|grep 5442
-rw-r--r-- 1 root root    17697 Sep  5 15:40 rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png
-rw-r--r-- 1 root root       49 Sep  5 15:40 rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png-m
-rw-r--r-- 1 root root       49 Sep  5 15:40 rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442.png-m
[[email protected] data]#

查看该图片，也是可以查看到的了：

[[email protected] data]# curl http://10.0.0.10:8090/groupA/M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png-m
ext_namejpgfile_size115120height80width160
[[email protected] data]#
[[email protected] data]#
[[email protected] data]# curl http://10.0.0.10:8090/groupA/M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442.png-m
ext_namejpgfile_size115120height80width160
[[email protected] data]#

在浏览器访问
http://10.0.0.10:8090/groupA/M00/00/00/rDN5CluPiIiIV-bEAABFIRkNTkMAAAAAQAGYYsAAEU5442_big.png
也能看到图片：

小记：
综上，用生产环境FastDFs数据目录替换新环境的数据目录后，需要做下面的操作：
1、清空生产环境数据目录里面的log文件；
2、以下文件用的是新环境自身的文件：

/data/dfs/tracker 目录
/data/dfs/group1/data/fdfs_storaged.pid
/data/dfs/group1/data/storage_stat.dat
/data/dfs/group1/data/storage_trunk.dat
/data/dfs/group1/data/sync 目录
/data/dfs/group1/data/trunk 目录
/data/dfs/group1/data/00/00/000001

原文地址：http://blog.51cto.com/10950710/2170754

时间： 2024-10-07 13:32:42

一次替换FastDFS数据目录引发的文件上传和访问异常的相关文章

fastDFS与java整合文件上传下载

准备 下载fastdfs-client-java源码 源码地址 密码:s3sw 修改pom.xml 第一个plugins是必需要的,是maven用来编译的插件,第二个是maven打源码包的,可以不要. <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactI

FastDFS 工具类实现文件上传_02

一.jar 包 jar包下载:https://pan.baidu.com/s/1nwkAHU5 密码:tlv6 或者 下载工程,安装到 maven 本地仓库 工程下载:https://pan.baidu.com/s/1i6SIm3b 密码:jkjt 二.工具类代码 package com.common.fastFDS; import org.csource.common.NameValuePair; import org.csource.fastdfs.ClientGlobal; import

SpringBoot: 浅谈文件上传和访问的坑 (MultiPartFile)

本次的项目环境为 SpringBoot 2.0.4, JDK8.0. 服务器环境为CentOS7.0, Nginx的忘了版本. 前言 SpringBoot使用MultiPartFile接收来自表单的file文件,然后进行服务器的上传是一个项目最基本的需求,我以前的项目都是基于SpringMVC框架搭建的,所以在使用SpringBoot的时候进行MultiPartFile上传遇到了坑,这里说一下,其中主要包含两个坑点. 使用transferTo()方法写入File时找不到文件路径. 访问文件时Ng

Eclipse搭建springboot项目(三)文件上传

知识点:SpringBoot2.x文件上传:HTML页面文件上传和后端处理 1.springboot文件上传 MultipartFile file,源自SpringMVC 1)静态页面直接访问:localhost:8080/index.html 注意点:如果想要直接访问html页面,则需要把html放在springboot默认加载的文件夹下面 2)MultipartFile 对象的transferTo方法,用于文件保存(效率和操作比原先用FileOutStream方便和高效) 访问路径 http

在EasyUI项目中使用FileBox控件实现文件上传处理

我在较早之前的随笔<基于MVC4+EasyUI的Web开发框架形成之旅--附件上传组件uploadify的使用>Web框架介绍中介绍了基于Uploadify的文件上传操作,免费版本用的是Jquery+Flash实现文件的上传处理,HTML5收费版本的没有试过.随着Flash逐渐退出整个环境,很多浏览器都可能不再支持Flash的了,因此在更新原有EasyUI整个框架的时候,我们对框架全面进行了完善,包括替换了这个Uploadify的文件上传模块,使用EasyUI内置的FileBox控件,结合Jq

漏洞复现 - Tomcat任意文件上传漏洞（CVE-2017-12615）

漏洞原理 Tomcat配置文件web.xml中,servlet配置了readonly=fasle时,会引发任意文件上传漏洞. readonly参数默认是true,即不允许delete和put操作,所以通过XMLHttpRequest对象的put或者delete方法访问就会报告http 403错误.但很多时候为了支持REST服务,会设置该属性为false. 复现环境 在ubuntu 16.04虚拟机中用vulhub靶场提供的docker容易来复现 jdk版本1.7 Tomcat版本8.5.19 复

windows 下文件上传到fastdfs

php.ini 配置 [fastdfs]; the base pathfastdfs_client.base_path = D:/tmp; connect timeout in seconds; default value is 30sfastdfs_client.connect_timeout = 2; network timeout in seconds; default value is 30sfastdfs_client.network_timeout = 60 ; standard l

FastDFS的配置、部署与API使用解读（8）FastDFS多种文件上传接口详解（转）

1.StorageClient与StorageClient1的区别 相信使用happy_fish的FastDFS的童鞋们,一定都熟悉StorageClient了,或者你熟悉的是StorageClient1,两者有什么区别呢? 我们在前面的几篇博文中已经知道,FastDFS存储文件时,是将 FastDFS存储到某个Group的某个Storage的某个路径下.如果你在Storage Server上设置的是两层目录结构的话,则一个文件上传到FastDFS后的File ID一般形如"group1/M01

分布式文件系统 fastdfs 源码分析 之 文件上传流程分析

fastdfs是一个轻量级的分布式文件系统,主要由 tracker server, storage server 以及client组成,这里主要涉及两点 : 1)客户端上传文件流程和协议分析 2)实现一个简单的文件上传函数 一: 文件上传的基本流程 fastdfs中上传一个文件,主要涉及以下几个步骤: 1)上传连接请求,客户端会向tracker server发出上传文件的请求 2)tracker收到请求后,返回storage server的ip和端口 3)客户端连接storage,并且上传文件