TCP协议传输大文件读取时候的问题

大文件传不完的bug

我们在定义的时候定义服务端每次文件读取大小为10240,

客户端每次接受大小为10240

我们想当然的认为客户端每次读取大小就是10240而把客户端的读下来的文件想当然大小每一次都加上10240

而实际上服务端发送文件send每次发送不一定是一次性把10240的文件传送完,可能分了好几次进行发送至缓冲区这我们实际文件大小就不一定是10240

解决办法:

1.对于每次服务端所发送的文件内容及大小都发送给客户端,让客户端一一对应读取

2.实时读取客户端内下载后的文件,而不是想当然的每次增加10240

原文地址：https://www.cnblogs.com/pythonywy/p/11123051.html

时间： 2024-10-14 09:39:46

TCP协议传输大文件读取时候的问题的相关文章

Windows下基于TCP协议的大文件传输（流形式）

简单实现TCP下的大文件高效传输在TCP下进行大文件传输,不像小文件那样直接打包个BUFFER发送出去,因为文件比较大可能是1G,2G或更大,第一效率问题,第二TCP粘包问题.针对服务端的设计来说就更需要严紧些.下面介绍简单地实现大文件在TCP的传输应用. 粘包出现原因:在流传输中出现,UDP不会出现粘包,因为它有消息边界(参考Windows 网络编程) 1 发送端需要等缓冲区满才发送出去,造成粘包 2 接收方不及时接收缓冲区的包,造成多个包接收解决办法: 为了避免粘包现象,可采取以下几种措

个人第一个开源分布式项目distributeTemplate的实现三网络通讯netty传输大文件

今天我将讲讲网络通讯,这里我初始版本由于采用的事Netty框架所以这里讲网络Netty在我们这里是怎么使用的,下周开始添加rpc lucene内容了实现之后的0.2 0.3版本,后面将会去掉netty依赖采用原生的NIO2 (aio) 异步非阻塞方式实现自己网络通讯,也就是说这部分可能会实现一个简单的但是比netty精简高效的网络框架,后期做出来可能会单独开一个分支开源出来,netty说白了就是事件驱动以及 NIO 加一些协议以及异常处理,废话不多说了. 我最近

C# Socket传输大文件

1.基础类TransferFiles,client和server都需要 using System; using System.Collections.Generic; using System.Text; using System.Net; using System.Net.Sockets; using System.Windows.Forms; namespace Server { public class TransferFiles { public static int SendData(

基于RMI服务传输大文件的完整解决方案

基于RMI服务传输大文件,分为上传和下载两种操作,需要注意的技术点主要有三方面,第一,RMI服务中传输的数据必须是可序列化的.第二,在传输大文件的过程中应该有进度提醒机制,对于大文件传输来说,这点很重要,因为大文件的传输时间周期往往比较长,必须实时告知用户大文件的传输进度.第三,针对大文件的读取方式,如果采用一次性将大文件读取到byte[]中是不现实的,因为这将受制于JVM的可用内存,会导致内存溢出的问题. 笔者实验的基于RMI服务传输大文件的解决方案,主要就是围绕以上三方面进行逐步解决的.下面

OpenAdaptor1——基于webservice传输大文件

<span style="font-family:Arial, Helvetica, sans-serif;BACKGROUND-COLOR: rgb(255,255,255)">OpenAdaptor支持XFire和CXF开发的webservice,所以开发CXF webservice,基于myeclipse开发比较容易.参照网上webrvice传输大文件示例修改 http://blog.csdn.net/kongxx/article/details/7540930<

生成器来解决大文件读取，大数据下载

目录场景下载文件读取大文件场景电商平台想要导出一年的报表数据,数据可能有百万,平常的做法是查出所有数据放到数组或对象中,再进行excel导出,一般情况下,数据不是很多这种是没什么问题,但百万级别的数据一下读到内存中,服务器会一下崩溃,内存溢出.通常情况下也不会做这种需求,产品提出来你可以骂两句怼回去,但老板说我就需要这个功能,你苦口婆心说几句,但是还是要做啊.生成器可以帮我做到这些,理解概念可以看看这里. 下载文件 //实现下载大文件,解决内存溢出 public function ac

远程传输大文件使用什么平台好呢？

远程传输大文件使用什么平台好呢?小文件倒是还可以通过QQ这样的方式进行传输,但是它对传输文件的大小有所限制,传输大文件就行不通了. 远程传输大文件使用什么平台好呢?传输大文件一个是要求传输稳定,不能说传了一点就断了,人又不可能一直盯着看是不是正常传输,这会造成传输时间的浪费.再一个要求文件传输的速度不能太慢,既然是大文件传输,速度很慢可能就要花好几个小时,甚至一整天,这会延误文件的传达. 我平时是使用网盘进行大文件的传输,网盘传输的速度比一般的通讯工具要更加快,也更加稳定,还没有文件的限制. 比

如何确保TCP协议传输稳定可靠？

TCP,控制传输协议,它充分实现了数据传输时的各种控制功能:针对发送端发出的数据包确认应答信号ACK:针对数据包丢失或者出现定时器超时的重发机制:针对数据包到达接收端主机顺序乱掉的顺序控制:针对高效传输数据包的滑动窗口控制:针对避免网络拥堵时候的流量控制:针对刚开始启动的时候避免一下子发送大量数据包而导致网络瘫痪的慢启动算法和拥塞控制. 此外,TCP作为一种面向有连接的控制传输协议,只有在确认对端主机存在时才会发送数据,从而可以控制通信流量的浪费. TCP通过序列号.超时重传.检验和.流量控制.

把大象装进冰箱：HTTP传输大文件的方法

上次我们谈到了HTTP报文里的div,知道了HTTP可以传输很多种类的数据,不仅是文本,也能传输图片,音频和视频. 早期互联网上传输的基本上都是只有几k大小的文本和小图片,现在的情况则大有不同.网页里包含的信息实在太多了,随随便便一个主页HTML就有可能上百K,高质量的图片都以M论,更不要说那些电影,电视剧了,几G,几十G都有可能. 相比之下,100M的光纤固网或者4G移动网络在这些大文件的压力下都变成了小水管,无论是上传还是下载,都会把网络传输链路挤的满满当当. 所以如何在有限的带宽下高效快捷