.Net平台下,分布式文件存储的实现

遇到的问题

对于Web程序,使用一台服务器的时候,客户端上传的文件一般也都是存储在这台服务器上。但在集群环境中就行不通了,如果每个服务器都存储自己接受到的文件,就乱套了,数据库中明明有这个附件的记录,却找不到这个文件。于是,文件需要进行统一集中管理,并向集群中的服务器提供统一的路径。

基于NFS的分布式文件存储实现

Network File System 简称NFS,用人话说叫共享文件夹,可以实现分布式存储文件。只需要在文件服务器上共享文件夹,并指定相应账号的权限,并给Web服务器设置可以访问共享文件夹的账号和密码,web服务器就可以像操作本地文件一样操作文件服务器上的文件了。NFS下的文件访问路径有固定的格式,称为UNC(Universal Naming Convention),以“\\”开头。

要以UNC的方式访问NFS下的文件,需要用到windows提供的两个API:WNetAddConnection2 和 WNetCancelConnection2。WNetAddConnection2可以使用指定的账号和密码创建一个UNC的连接,然后程序可以直接访问该UNC下文件。

首先创建类FileServerConnection,用于管理连接,具体代码如下:

public class FileServerConnection
{
    private string uncName;
    private string username;
    private string password;

    /// <summary>
    /// 构造器
    /// </summary>
    /// <param name="uncName">完整的UNC路径</param>
    /// <param name="username">访问共享连接的用户名</param>
    /// <param name="password">访问共享连接的密码</param>
    public FileServerConnection(string uncName, string username, string password)
    {
        this.uncName = uncName;
        this.username = username;
        this.password = password;
    }

    /// <summary>
    /// 连接文件服务器
    /// </summary>
    public void Connect()
    {
        var netResource = new NetResource
                    {
                        Scope = ResourceScope.GlobalNetwork,
                        ResourceType = ResourceType.Disk,
                        DisplayType = ResourceDisplayType.Share,
                        RemoteName = this.uncName.TrimEnd(‘\\‘)
                    };

        var result = WNetAddConnection2(netResource, password, username, 0);
        if (result != 0)
            throw new Win32Exception(result);
    }

    /// <summary>
    /// 释放连接
    /// </summary>
    public void Disconnect()
    {
        WNetCancelConnection2(this.uncName, 0, true);
    }

    [DllImport("mpr.dll")]
    private static extern int WNetAddConnection2(NetResource netResource,
                                                    string password,
                                                    string username,
                                                    int flags);

    private static extern int WNetCancelConnection2(string name, int flags, bool force);
}

FileServerConnection中所用到的几个结构体代码如下:

[StructLayout(LayoutKind.Sequential)]
public class NetResource
{
    public ResourceScope Scope;
    public ResourceType ResourceType;
    public ResourceDisplayType DisplayType;
    public int Usage;
    public string LocalName;
    public string RemoteName;
    public string Comment;
    public string Provider;
}

public enum ResourceScope
{
    Connected = 1,
    GlobalNetwork,
    Remembered,
    Recent,
    Context
} ;

public enum ResourceType
{
    Any = 0,
    Disk = 1,
    Print = 2,
    Reserved = 8,
}

public enum ResourceDisplayType
{
    Generic = 0x0,
    Domain = 0x01,
    Server = 0x02,
    Share = 0x03,
    File = 0x04,
    Group = 0x05,
    Network = 0x06,
    Root = 0x07,
    Shareadmin = 0x08,
    Directory = 0x09,
    Tree = 0x0a,
    Ndscontainer = 0x0b
}

然后在Web程序启动的时候,只需要创建一个FileServerConnection的实例,然后调用它的Connect方法。为了防止重复创建连接引发异常,可以Connect之前先DisConnect。具体调用代码如下:

fsConnection= new FileServerConnection (storeRootPath, username, password);
fsConnection.Disconnect();
fsConnection.Connect();

基于DFS分布式存储方案

一台文件存储服务器+一块大磁盘,已经能够应付大多数情况了。如果想要更大的存储容量、更大的吞吐量、更安全可靠的文件部署方案,可以使用windows server上的DFS。DFS本质上还是基于文件夹共享(NFS)的,但是可以通过它来组织多太文件服务器提供统一的访问路径,从而支持大容量和大吞吐量。而且,可以配置把同一份文件存储在不同的服务器上,一台挂掉之后,文件仍然不会丢失;DFS还可以和活动目录集成,即使根服务器挂掉,仍然不影响服务器使用,从而 保证文件存储的可靠性。Windows Server下DFS的安装和使用参考:http://technet.microsoft.com/zh-cn/library/cc731089.aspx#BKMK_UI

如果不想使用Windows自带的DFS,还有第三方的DFS可供选择,比如 FastDFS。

.Net平台下,分布式文件存储的实现

时间: 2024-10-24 17:20:35

.Net平台下,分布式文件存储的实现的相关文章

分布式文件存储fastdfs

FastDFS是一个开源的轻量级应用级的分布式文件存储服务,它对文件进行管理,功能包括: 文件存储.文件同步.文件访问(文件上传.文件下载)等解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS有三个角色:跟踪服务器(tracker server).存储服务器(storage server)和客户端(client). 1)跟踪服务器:主要做调度工作 起负载均衡的作用 2)存储服务器:存储节点存储文件 完成文件管理的所有功能:存储.同步和提

分布式文件存储

Storage不小心看到这个类,注释写着// 分布式文件存储类....不懂,吖的,google不能用,只能用某度,挺火大的. 又找到ThinkPHP\Library\Think\Storage\Driver 下面的File.class.php,那么,Storage类只是通过判断type去加载File.class.php或Sea.class.php 暂时不懂原理,Storage就两个方法,能看懂,但不理解为什么要这样写,继续看. 分布式文件存储,布布扣,bubuko.com

FastDFS分布式文件存储

  存储能力是提供给上层业务系统以实现文件存取服务,这个存储能力为XDFS,即可扩展的分布式文件系统,实现的原理是封装了第三方的分布式存储系统实现的. 目前封装的第三方分布式系统包括FastDFS.Hadoop的HDFS,所提供的存储接口如下: 1  文件上传 2 文件断点上传 3 文件下载 4 文件断点下载 5  文件删除 6 获取文件大小 7  获取文件Http下载地址 8 批量获取文件Http下载地址 FastDFS适合的场景是互联网大中型企业的高并发文件存储服务,比如存储图片.音频.视频

FastDFS 分布式文件存储

FastDFS 分布式文件存储 什么是FastDFS? FastDFS是一个开源的轻量级的分布式文件系统.他解决了大量数据存储和负载均衡等问题.特别适合以中小文件(4KB < FileSize < 500MB)为载体的在线服务,如视频,音频,图片网站等等.FastDFS是一款开源的轻量级分布式文件系统,他是由纯 C 实现,支持Linux,FreeBSD等UNIX系统类,不是通用的文件系统,只能通过专有的API访问,目前提供了C.Java和PHP API为互联网应用量身定做,解决大容量文件存储问

分布式文件存储FastDFS(一)初识FastDFS

一.FastDFS简介 FastDFS是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.作为一个分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题,特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载体的在线服务,如相册网站.视频网站等等具有显著的效果. 二.FastDFS架构 FastDFS由客户端,跟踪服务器和

MogileFS + Nginx 实现基于CentOS7平台的分布式文件存储与访问

MogileFS是一个开源的分布式文件系统,Nginx是开源的4-7层web应用服务端以及反向代理服务端.本文基于CentOS7平台,进行MogileFS + Nginx的部署 MogileFS的一些注意事项 针对于MogileFS,有如下概念需要注意一下. MogileFS属于有中心节点形式的分布式文件系统,元数据默认存储在关系型数据库(MySQL)当中,在此处于单点,因此有必要对MySQL使用主从复制或者MHA. 按功能分为tracker,database,storage.其中tracker

(转) 分布式文件存储FastDFS(一)初识FastDFS

http://blog.csdn.net/xingjiarong/article/details/50559849 一.FastDFS简介 FastDFS是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.作为一个分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题,特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载

分布式文件存储FastDFS(七)FastDFS配置文件详解

配置FastDFS时,修改配置文件是很重要的一个步骤,理解配置文件中每一项的意义更加重要,所以我参考了大神的帖子,整理了配置文件的解释.原帖如下:http://bbs.chinaunix.net/thread-1941456-1-1.html,因为原帖中的版本比较早,所以我针对现有的版本进行了修改,原帖中没有client.conf的介绍,这里我给加上了. 下文中带有注释的配置文件下载:http://download.csdn.net/detail/xingjiarong/9445515 一.tr

分布式文件存储FastDFS(七)FastDFS配置文件具体解释

配置FastDFS时.改动配置文件是非常重要的一个步骤,理解配置文件里每一项的意义更加重要,所以我參考了大神的帖子,整理了配置文件的解释.原帖例如以下:http://bbs.chinaunix.net/thread-1941456-1-1.html,由于原帖中的版本号比較早.所以我针对现有的版本号进行了改动.原帖中没有client.conf的介绍.这里我给加上了. 下文中带有凝视的配置文件下载:http://download.csdn.net/detail/xingjiarong/9445515