C#技术分享【基于socket的断点续传功能】

最近开发了一个异地灾备传输工具,每周从广州服务器同步5g大小的数据库备份文件到北京服务器。

第一个版本的传输工具开发得很简单,两个window服务,一个负责发送,另一个负责接收,利用socket建立tcp链接,在测试服务器上传输10g大小的文件没有问题。

但部署到生产环境之后,每次传输了3g左右的数据就中断了,经分析是由于网络不稳定造成的,所以需要对传输工具添加断点续传功能,当传输意外中断时,可以自动连接,并完成上一次未完成的传输。

断点续传的原理很简单,就是分割需要传输的文件,每次传输一小块数据,并附带数据的位置和大小信息,服务器成功接收数据之后,则继续下一块数据的传输,否则重复上一块数据的传输,直到成功为止。

这实际上是为你的传输功能添加了暂停功能,网络中断的我时候暂停传输了,网络恢复之后继续再传。

既然搞清楚原理了我们就赶紧开始写代码吧,下面是核心代码。



封装一个类包含一下字段,用来记录传输的状态:FileName 文件名、FileSize 文件大小、PackageSize 数据包的大小、PackageCount 传输总次数,Index 当前传输位置。每次发送数据包时,带上这些信息,就算意外中断了,重新连上了之后,也可以很轻易的判断传输的进度。

public class BreakPointPost
{
    public string FileName { get; set; }
    public long FileSize { get; set; }
    public long PackageSize { get; set; }
    public int PackageCount { get; set; }
    public int Index { get; set; }
}


获取文件的传输次数

private static int GetFilePackageCount(long fileSize, long packageSize)
{
    int count = 0;
    if (fileSize % packageSize > 0)
        count = Convert.ToInt32(fileSize / packageSize) + 1;
    else
        count = Convert.ToInt32(fileSize / packageSize);
    return count;
}


分块读取文件

private static byte[] FileRead(string path, int index, long size)
{
    byte[] result = null;
    long length = (long)index * (long)size + size;
    using (FileStream stream = File.OpenRead(path))
    {
        if (length > stream.Length)
            result = new byte[stream.Length - ((long)index * (long)size)];
        else
            result = new byte[size];
        stream.Seek((long)index * (long)size, SeekOrigin.Begin);
        stream.Read(result, 0, result.Length);
    }
    return result;
}


分块接受文件

private static void FileWrite(string path, int index, long packageSize, int receiveSize, byte[] data)
{
    using (System.IO.FileStream stream = System.IO.File.OpenWrite(path))
    {
        stream.Seek((long)index * (long)packageSize, System.IO.SeekOrigin.Begin);
        stream.Write(data, 0, receiveSize);
        stream.Flush();
    }
}


以上便是核心代码,大家可以根据这些代码,写出自己的断点续传功能啦。

当然,完整的代码示例肯定是少不了的,以下两个版本大家按需下载。

1、控制台版(下载有惊喜)

2、Windows服务版(生产版本)

3、喜欢用GitHub的童鞋们也可以点我fork

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-07 05:16:02

C#技术分享【基于socket的断点续传功能】的相关文章

C# 基于 socket 的断点续传功能的实现

最近由于工作需要做了一个异地灾备传输工具,每周从广州服务器同步5g大小的数据库备份文件到北京服务器. 第一个版本的传输工具开发得很简单,两个window服务,一个负责发送,另一个负责接收,利用socket建立tcp链接,在测试服务器上传输10g大小的文件没有问题. 但部署到生产环境之后,每次传输了3g左右的数据就中断了,经分析是由于网络不稳定造成的,所以需要对传输工具添加断点续传功能,当传输意外中断时,可以自动连接,并完成上一次未完成的传输. 断点续传的原理很简单,就是分割需要传输的文件,每次传

知乎技术分享:从单机到2000万QPS并发的Redis高性能缓存实践之路

本文来自知乎官方技术团队的"知乎技术专栏",感谢原作者陈鹏的无私分享. 1.引言 知乎存储平台团队基于开源Redis 组件打造的知乎 Redis 平台,经过不断的研发迭代,目前已经形成了一整套完整自动化运维服务体系,提供很多强大的功能.本文作者陈鹏是该系统的负责人,本次文章深入介绍了该系统的方方面面,值得互联网后端程序员仔细研究. (本文同步发布于:http://www.52im.net/thread-1968-1-1.html) 2.关于作者 陈鹏:现任知乎存储平台组 Redis 平

感知开源的力量-APICloud Studio开源技术分享会

2014.9.15 中国领先的"云端一体"移动应用云服务提供商APICloud正式发布 2015.9.15,APICloud上线一周年,迎来第一个生日 这一天,APICloud 举办APICloud Studio开源技术分享会 我们将对APICloud Studio进行技术开源的全面解析, APICloud Studio遵循Aptana3.0 GPL开源协议,源代码以无条件继承GPL开源协议的方式贡献给业界. 我们相信,通过开源技术分享,我们将和广大开发者一起,不断扩展主流HTML开发

基于LINUX的多功能聊天室

原文:基于LINUX的多功能聊天室 基于LINUX的多功能聊天室 其实这个项目在我电脑已经躺了多时,最初写完项目规划后,我就认认真真地去实现了它,后来拿着这个项目区参加了面试,同样面试官也拿这个项目来问我,当然我是做过一遍了,而且为了面试,我将什么strcpy,strlen等最常用的函数都自己实现了一遍,说着,我感觉自己有点挺用功的样子呢! 后来,工作也定下来了,等三方,然后继续帮助我的导师做项目,经过老师的威逼利诱下,我屈服了,又把智能家居系统作为项目,同时也是我的毕业设计,而且功能还要十分完

UWP 手绘视频创作工具技术分享系列

开篇先来说一下写这篇文章的初衷. 初到来画,通读了来画 UWP App 的代码,发现里面确实有很多比较高深的技术点,同时也是有很多问题的,扩展性,耦合,性能,功能等等.于是我们决定从头重构这个产品,做一个全新的 “来画Pro” 出来,历经三个月的世间,这个产品终于正式上架. (做个小广告,在 Windows 应用商店搜索 “来画Pro” 就可以找到,目前公司定位为收费应用,但是有一个月试用期,如果大家感兴趣,可以跟我要免费代码.这里是 IT之家的报道:https://www.ithome.com

【技术分享】手把手教你使用PowerShell内置的端口扫描器

[技术分享]手把手教你使用PowerShell内置的端口扫描器 引言 想做端口扫描,NMAP是理想的选择,但是有时候NMAP并不可用.有的时候仅仅是想看一下某个端口是否开放.在这些情况下,PowerShell确实能够大放异彩.接下来我们聊聊如何使用PowerShell实现基本的端口扫描功能. 本文中用到的PowerShell命令 PowerShell端口扫描器:针对单个IP的多个端口的扫描 1..1024 | % {echo ((new-object Net.Sockets.TcpClient)

Windows下基于socket多线程并发通信的实现

本文介绍了在Windows 操作系统下基于TCP/IP 协议Socket 套接口的通信机制以及多线程编程知识与技巧,并给出多线程方式实现多用户与服务端(C/S)并发通信模型的详细算法,最后展现了用C++编写的多用户与服务器通信的应用实例并附有程序. 关键词:Windows:套接字:多线程:并发服务器: Socket 是建立在传输层协议(主要是TCP 和UDP)上的一种套接字规范,最初由美国加州Berkley 大学提出,为UNIX 系统开发的网络通信接口,它定义了两台计算机之间通信的规范,sock

UWP 手绘视频创作工具技术分享系列 - 全新的 UWP 来画视频

从2017年11月开始,我们开始规划和开发全新的来画Pro,在12月23日的短视频峰会上推出了预览版供参会者体验,得到了很高的评价和关注度.吸取反馈建议后,终于在2018年1月11日正式推出了全新版本的 UWP App,定名为"来画视频".(根据微软应用商店的命名规则,大家可以继续搜索"来画Pro") 全新版本的 UWP 来画视频,适配了来画平台的手绘视频模板,对创作工具做了全新的改版. 适配来画平台手绘视频模板 来画成立两年多的时间里,一直在积累手绘视频模板,目前

腾讯技术分享:GIF动图技术详解及手机QQ动态表情压缩技术实践

本文来自腾讯前端开发工程师" wendygogogo"的技术分享,作者自评:"在Web前端摸爬滚打的码农一枚,对技术充满热情的菜鸟,致力为手Q的建设添砖加瓦." 1.GIF格式的历史 GIF ( Graphics Interchange Format )原义是"图像互换格式",是 CompuServe 公司在1987年开发出的图像文件格式,可以说是互联网界的老古董了. GIF 格式可以存储多幅彩色图像,如果将这些图像((https://www.q