实现TCP断点上传,后台C#服务实现接收

实现TCP断点上传,后台C#服务实现接收

终端实现大文件上传一直都是比较难的技术,其中涉及到后端与前端的交互,稳定性和流量大小,而且实现原理每个人都有自己的想法,后端主流用的比较多的是Http来实现,因为大多实现过断点下载。但稳定性不能保证,一旦断开,无法续传。所以得采用另一种流行的做法,TCP上传大文件。

网上查找了一些资料,大多数是断点下载,然后就是单独的C#端的上传接收,或是HTTP的,或是只有android端的,由于任务紧所以之前找的首选方案当然是Http先来实现文件上传,终端采用Post方法,将文件直接传至后端,后端通过File来获得。

android端:

RequestParams params = new RequestParams();
 File file = getTempFile();//获得本地文件
        try {
            params.put("file", file);
        } catch (FileNotFoundException e1) {
            e1.printStackTrace();
        }
        AsyncHttpUtil.post(URL + "/UpLoad", params, new JsonHttpResponseHandler() {
……

后端:

var file = Request.Files["file"];
  file.SaveAs(upFileName);

还有其它更好的处理方法,也可以传流进来,不通过file文件格式。 在网络好的情况下没什么问题,但网络差点后来经常上传一半掉线或多个客户端上传出现连不上的情况,对于大文件极不稳定,所以赶紧研发TCP协议文件断点上传。

也有网友实现了Http断点上传,既然大文件不行,那就将文件分割成小文件来上传,纯NET的主要方法:

上传:

 bool result = true;
            long cruuent = 0;

            FileStream fStream = new FileStream(fileName, FileMode.Open, FileAccess.Read);
            BinaryReader bReader = new BinaryReader(fStream); 

            //模拟断点上传,第一次只上传 100 个字节
            long length = 100;

            fileName = fileName.Substring(fileName.LastIndexOf(‘\\‘) + 1);

            #region 开始上传文件
            try
            {

                byte[] data;
                #region 分割文件上传
                for (; cruuent <= length; cruuent = cruuent + byteCount)
                {
                    if (cruuent + byteCount > length)
                    {
                        data = new byte[Convert.ToInt64((length - cruuent))];
                        bReader.Read(data, 0, Convert.ToInt32((length - cruuent)));
                    }
                    else
                    {
                        data = new byte[byteCount];
                        bReader.Read(data, 0, byteCount);
                    }
                    try
                    {
                        Hashtable parms = new Hashtable();
                        parms.Add("fileName", fileName);
                        parms.Add("npos", cruuent.ToString());

                        byte[] byRemoteInfo = PostData(serverPath + "UpLoadServer.aspx", data, parms);

                    }
                    catch (Exception ex)
                    {
                        msg = ex.ToString();
                        result = false;
                        break;
                    }
                #endregion
                }
            }
            catch (Exception ex)
            {
                msg = ex.ToString();
                result = false;
            }
            finally
            {
                bReader.Close();
                fStream.Close();

            }

            GC.Collect();

先将文件分割成小流,npos为断点的位置,即已经上传了的大小,然后循环上传所有包。

后台接收:

 /// <summary>
    /// 保存文件(从URL参数中获取文件名、当前指针,将文件流保存到当前指针后)
    /// 如果是第一次上传,则当前指针为0,代码执行与续传一样,只不过指针没有偏移
    /// </summary>
    public void SaveUpLoadFile()
    {

        string fileName = Request.Params["fileName"];
        long npos = Convert.ToInt64(Request.Params["npos"]);

        int upLoadLength = Convert.ToInt32(Request.InputStream.Length);

        string path = Server.MapPath("/UpLoadServer");
        fileName = path + "//UpLoad//" + fileName;

        FileStream fStream = new FileStream(fileName, FileMode.OpenOrCreate, FileAccess.ReadWrite);
        //偏移指针
        fStream.Seek(npos, SeekOrigin.Begin);

        //从客户端的请求中获取文件流
        BinaryReader bReader = new BinaryReader(Request.InputStream);
        try
        {
            byte[] data = new byte[upLoadLength];
            bReader.Read(data, 0, upLoadLength);
            fStream.Write(data, 0, upLoadLength);
        }
        catch
        {
            //TODO 添加异常处理
        }
        finally
        {
            //释放流
            fStream.Close();
            bReader.Close();
        }
    }

重点在 fStream.Seek(npos, SeekOrigin.Begin); 从断点位置接收保存。

有兴趣的可以自己实现。

现在主要讲讲客户端TCP上传,后台TCP接收,主要思路为:android端读取本地文件将文件名,文件大小上传至服务器(文件名必须是全局唯一),服务器将根据文件名查询是否上传过,若是上传过,将已传文件的大小即断点位置传给终端,终端接收后先保存断点位置,然后从断点位置读取文件断续上传,直到全部完成。若没上传过则服务器创建缓存文件接收。

看看代码Android:

String head = "Length=" + uploadFile.length() + ";filename=" + filename

 Socket socket = new Socket("192.168.0.123", 7080);
                    OutputStream outStream = socket.getOutputStream();
                    outStream.write(head.getBytes());//发送

                    PushbackInputStream inStream = new PushbackInputStream(socket.getInputStream());
                    String response = StreamTool.readLine(inStream);//读取
                    String[] items = response.split(";");

 final String position = items[0].substring(items[0].indexOf("=") + 1);//断点位置
                        final String serviceurl = items[1].substring(items[1].indexOf("=") + 1);//保存到服务器路径

RandomAccessFile fileOutStream = new RandomAccessFile(uploadFile, "r");
                        fileOutStream.seek(Integer.valueOf(position));//从断点位置开始读取文件
                        byte[] buffer = new byte[1024];
                        int len = -1;
                        int length = Integer.valueOf(position);//已经上传的大小,用于本地显示
                        while ( (len = fileOutStream.read(buffer)) != -1) {
                            outStream.write(buffer, 0, len);
                            length += len;
                            Message msg = new Message();
                            msg.getData().putInt("size", length);
                            // 更新上传的进度                           handler.sendMessage(msg);

                        }
if (length == uploadFile.length()) {//如果相等,则说明上传成功}
fileOutStream.close(); outStream.close(); inStream.close(); socket.close(); 

后端处理:

 private static TcpListener listener;//服务器监听
   IPAddress ipHost = IPAddress.Any;
  listener = new TcpListener(ipHost, 7080);
                    listener.Start();//开启监听

 Socket remoteSocketClient = listener.AcceptSocket();
                    device = new Device(remoteSocketClient);
//开启一个线程去处理
                    threaddev = new Thread(new ThreadStart(device.Scan));
                    device.curentThread = threaddev;
                    threaddev.IsBackground = true;
                    threaddev.Start();

Scan处理方法:

 string[] items = strGetContent.Split(‘;‘);
                    string filelength = items[0].Substring(items[0].IndexOf("=") + 1);
                    string filename = items[1].Substring(items[1].IndexOf("=") + 1);
 //文件保存完整路径
                            filePath = Path.Combine(directoryPath, filename);
//断点位置
                        long position = 0;
                        if (File.Exists(filePath))
                        {
                            using (FileStream reader = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.None))
                            {
                                position = reader.Length;
                            }
                        }
//返回消息
 response = "position=" + position + ";serviceurl=" +  dirPath + "/" + filename) ;

                        //服务器收到客户端的请求信息后,给客户端返回响应信息:;position=0
                        //serviceurl 服务生保存的文件位置   /PlayFiles/video/2016/07/04/1141142221.mp4
                        bufferSend = Encoding.UTF8.GetBytes(response);
                        remoteSocketClient.Send(bufferSend);

然后处理续传内容:

 //获得文件内容
                        byte[] buffer = new byte[BufferSize];
                        int received = 0;
                        long receive, length = long.Parse(filelength);
                        FileInfo file = new FileInfo(filePath);
                        using (FileStream writer = file.Open(file.Exists ? FileMode.Append : FileMode.CreateNew, FileAccess.Write, FileShare.None))
                        {
                            receive = writer.Length;
                            while (receive < length)
                            {
                                if ((received = remoteSocketClient.Receive(buffer)) == 0)
                                {
                                    Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收暂停!");
                                    break;
                                }
                                writer.Write(buffer, 0, received);
                                writer.Flush();
                                receive += (long)received;
                            }

                        }

if (receive == length)
                        {
                            Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收" + filename + "完成!");
}

主要原理还是从断点位置上传和接收。

这里只是讲了最主要的代码功能,还有很多细节处理,比如终端要显示进度,所以还要保存进度,后端文件的保存会不会错位,还有多文件上传会不会乱,多客户端上传是创建新线程还是有线程池来处理等等 。

时间: 2024-10-31 07:12:57

实现TCP断点上传,后台C#服务实现接收的相关文章

Android 文件断点上传器[多用户并发访问]

通过TCP/IP(SOCKET)协议实现文件断点上传(实现多用户并发访问). HTTP不支持文件断点续传,所以无法使用HTTP协议. 场景: 1. 网络不稳定,导致上传失败,下次不是从头开始,而是从断点开始上传: 2. 上传大文件,无法http上传,因为web服务器考虑到安全因素,会限制文件大小,一般10+m. 此文件断点上传器使用自定义协议. 服务器为上传的文件在服务器端生成唯一的sourceid关联上传文件,当客户端上传文件时,首次的sourceid为空,服务端先判断sourceid是否为空

okhttp实现断点上传

前言 之前项目需要上传大文件的功能,上传大文件经常遇到上传一半由于网络或者其他一些原因上传失败.然后又得重新上传(很麻烦),所以就想能不能做个断点上传的功能.于是网上搜索,发现市面上很少有断点上传的案例,有找到一个案例也是采用SOCKET作为上传方式(大文件上传,不适合使用POST,GET形式).由于大文件夹不适合http上传的方式,所以就想能不能把大文件切割成n块小文件,然后上传这些小文件,所有小文件全部上传成功后再在服务器上进行拼接.这样不就可以实现断点上传,又解决了http不适合上传大文件

Android应用开发之使用Socket进行大文件断点上传续传

http://www.linuxidc.com/Linux/2012-03/55567.htm http://blog.csdn.net/shimiso/article/details/8529633/ 在Android中上传文件可以采用HTTP方式,也可以采用Socket方式,但是HTTP方式不能上传大文件,这里介绍一种通过Socket方式来进行断点续传的方式,服务端会记录下文件的上传进度,当某一次上传过程意外终止后,下一次可以继续上传,这里用到的其实还是J2SE里的知识. 这个上传程序的原理

艺萌TCP文件上传下载及自动更新系统介绍(TCP文件传输)(一)

艺萌TCP文件上传下载及自动更新系统介绍(TCP文件传输) 该系统基于开源的networkComms通讯框架,此通讯框架以前是收费的,目前已经免费并开元,作者是英国的,开发时间5年多,框架很稳定. 项目地址:http://www.51aspx.com/code/MSDCArtMengFileUpload 咨询qq:286275658 演示程序下载地址:http://pan.baidu.com/s/1geVfmcr 服务器端运行效果图: 服务器端配置文件: <?xml version="1.

《如何将windows上的软件包或文件上传到linux服务上》

昨天晚上朋友让我帮他简单的搭建个环境,他公司让他做款软件测试温度的,他自己搞的是嵌入式,在公司担任的是软件工程师,应届毕业生.也可能他们搞嵌入式的对这个linux系统不太熟,不会把windows上的软件包或文件上传上linux服务上,编译还凑合.我今天到网上搜了一下不会的人还是蛮多的,搜索引擎一搜一大把,下面就来说说这个so easy问题. 如何将windows上的软件包或文件上传到linux服务上,下一句就是如何让将linux的文件下载到win上.哈哈 方法不止这一种,有超多的方法,要是虚拟机

文件断点上传,html5实现前端,java实现服务器

断点上传能够防止意外情况导致上传一半的文件下次上传时还要从头下载,网上有很多关于断点的实现,这篇文章只是从前到后完整的记录下一个可用的实例,由于生产环境要求不高,而且就是提供给一两个人用,所以我简化了诸多过程,不用flash,也不用applet,只是通过html5的新特性进行浏览器端的处理. 简单说下关键点 如果上次传到n字节,那么浏览器下次续传直接就是从文件的n字节开始向服务器传送数据,而不是都传过去,服务器从n字节开始接收. html5能给文件分片,所以每次上传完一块文件后,应该返回当前已经

php相册功能实现(包含php图片上传,后台管理,浏览和删除)教程例子

相册功能实现(包含php图片上传,后台管理,浏览和删除)教程例子包括五个部分: 一.相册首页 <html> <head> <meta charset="utf-8"> <title>相册首页</title> <style> body{ width:800px; margin:0 auto; test-align:center; } </style> </head> <body>

jsp+servlet怎么实现文件断点上传下载

我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用. 这次项目的需求: 支持大文件的上传和续传,要求续传支持所有浏览器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器,并且刷新浏览器后仍然能够续传,重启浏览器(关闭浏览器后再打开)仍然能够继续上传,重启电脑后仍然能够上传 支持文件夹的上传,要求服务端能够保留层级结构,并且能够续传.需要支持10万个以上的文件夹上传. 支持低版本的系统和浏览器,因为这个项目

前端大文件上传解决方案支持分片断点上传

最近遇见一个需要上传百兆大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现. 在某些业务中,大文件上传是一个比较重要的交互场景,如上传入库比较大的Excel表格数据.上传影音文件等.如果文件体积比较大,或者网络条件不好时,上传的时间会比较长(要传输更多的报文,丢包重传的概率也更大),用户不能刷新页面,只能耐心等待请求完成. 下面从文件上传方式入手,整理大文件上传的思路,并给出了相关实例代码,由于PHP内置了比较方便的文件拆分和拼接方法,因此服务端代码使用