Html5大文件断点续传

大文件分块

一般常用的web服务器都有对向服务器端提交数据有大小限制。超过一定大小文件服务器端将返回拒绝信息。当然,web服务器都提供了配置文件可能修改限制的大小。针对iis实现大文件的上传网上也有一些通过修改web服务器限制文件大小来实现。不过这样对web服务器的安全带了问题。攻击者很容易发一个大数据包,将你的web服务器直接给拖死。

现在针对大文件上传主流的实现方式,通过将大文件分块。比如针对一个100M文件,按2M拆分为50块。然后再将每块文件依次上传到服务器上,上传完成后再在服务器上合并文件。

在web实现大文件上传,核心主要实现文件的分块。在Html5 File API 出现以前,要想在web上实现文件分块传输。只有通过flash或Activex实现文件的分块。

在Html5 下,我们可以直接通过file的slice 方法来实现文件的分块。如:

file.slice(0,1000);

file.slice(1000,2000);

file.slice(2000,3000);

然后再通过XMLHttpRequest异步上传到服务器。

Html5 上传文件类库

如果你有兴趣及时间 ,当然可以自己用html5的File API来实现。本人在网上查找到了以下两个支持html5类库。

resumable.js 附git上的地址:https://github.com/23/resumable.js

Pludload http://plupload.com/

resumable是一个纯html5上传类库。

而Pludload是一个支持html5,flash,silverlight,html4,它会自动判断浏览是否支持html5不支持将用其它的上传方式。

我测试下来,resumable和Pludload都支持html5分块上传文件。用下来觉得resumable比较适合,以下就选resumable来进行介绍。

resumable.js断点上传使用介绍

主要配置介绍:

var r = new Resumable({

target:‘/test/upload‘,

chunkSize:1*1024*1024,

simultaneousUploads:4,

testChunks: true,

throttleProgressCallbacks:1,

method: "octet"

});

chunkSize 分块文件大小,以字节为单位

simultaneousUploads 同时上传文件块的进程数,可以同时允许多个文件块上传。

testChunks 上前文件块是否先通过get方式发送文件信息检测文件是否已经上传。

resumable断点上传是通过testChunks配置节点来实现,当设置为true时。resumable会先发送一个get请求,如果http状态返回 200。则认为当前块已经上传完成,然后进行下一块的get请求。如果http状态返回的不是200,则将通过post方式发送当前块数据包进行文件块上传。

设置testChunks为true每次上传都会增加一个get请求,如果我们已经知道上次中断上传前文件的块数。下次直接从中断的块数上传就行了。这样可以为每个块减少一次http的get请求。

针对这个需求,我修改了resumable的源码,为resumable里的file对象增加了一个startchunkindex的属性,默认为0。用于设置当前文件从哪一个块开始上传。这样,我们只需要在在文件上传前从服务器上进行一次查询(查询当前文件上传到哪一块),返回上次上传的文件块索引。再将索引值设置到file的startchunkindex属性就可以实现从上次断开的文件块开始上传。

调用方式:

// Handle file add event

r.on(‘fileAdded‘, function (file) {

file.startchunkindex = 0; // 设置当前文件开始上传的块数

具体可以查看附件里的demo。 

收尾工作

所有文件块上传完,最后工作就是合并保存文件。附件为resumable断上传.net实现的服务端例子,包括简单的文件合并功能。其它语言的demo大家也可以从resumable的git上下载

demo例子为了简单,只是把文件存放在本机。在真实的生产环境中。一般应该放在单独的文件服务器上(前台web通过ftp或文件夹共享方式上传到文件服务器),然后对上传好的文件进行分发镜像或处理(比如视频压缩)。当然最好是存在分布式文件系统中,目前看下来放到Hadoop分布式文件系统(HDFS)是一个不错的好方案。

时间: 2024-08-07 21:17:59

Html5大文件断点续传的相关文章

HTML5 大文件断点续传完整思路整理

需求: 支持大文件批量上传(20G)和下载,同时需要保证上传期间用户电脑不出现卡死等体验: 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传,文件夹中的文件数量达到1万个以上,且包含层级结构. 支持PC端全平台操作系统,Windows,Linux,Mac 支持文件和文件夹的批量下载,断点续传.刷新页面后继续传输.关闭浏览器后保留进度信息. 支持文件夹批量上传下载,服务器端保留文件夹层级结构,服务器端文件夹层级结构与本地相同. 支持断点续传,关闭浏览器或刷新浏览器后仍然能够保留

文件上传控件-如何上传文件-大文件断点续传

需求: 项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在20G内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以20G来进行限制. PC端全平台支持,要求支持Windows,Mac,Linux 支持所有浏览器. 支持文件批量上传 支持文件夹上传,且要求在服务端保留层级结构.文件夹数量要求支持到10W. 支持大文件断点续传,要求刷新浏览器,重启浏览器,重启电脑后仍然能够继续上传.文件大小要求能够支持到20个G. 支持自动加载本地文件,要求能够自动加载指定的本地文件.

HTML5 大文件上传示例

<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>HTML5大文件分片上传</title> <script src="js/spark-md5.min.js" type="text/javascript" charset="utf-8"></script> <

iOS开发之网络编程--使用NSURLConnection实现大文件断点续传下载+使用输出流代替文件句柄

前言:本篇讲解,在前篇iOS开发之网络编程--使用NSURLConnection实现大文件断点续传下载的基础上,使用输出流代替文件句柄实现大文件断点续传.    在实际开发中,输入输出流用的比较少,但是用起来也是很方便的.iOS开发用到的输入输出流和在Java中的输入输出流是几乎一样的,本质也是一个意思:将网络返回的数据当做流来处理.    输入输出的理解:输入到哪里?输出到哪里?这个问题不难理解,输入输出是要站着服务器角度来思考的,下面用图来解释:    代码关键词: 1.在接收到响应头的代理

webUploader大文件断点续传学习心得 多文件

二.Jsp代码: [javascript] view plain copy <!-- 断点续传   start--> <!-- 隐藏域 实时保存上传进度 --> <input id="jindutiao" type="hidden"/> <div id="uploader" class="wu-example"> <label class="text-right&

php大文件断点续传

该项目核心就是文件分块上传.前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题. * 如何分片: * 如何合成一个文件: * 中断了从哪个分片开始. 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天性曾迫使我重新造轮子.但是因为时间的关系还有工作的关系,我只能罢休了.最后我选择了百度的WebUploader来实现前端所需. 如何合,在合之前,我们还得先解决一个问题,我们如何区分分块所属那个文件的.刚开始的时

php如何实现大文件断点续传-php文件

总结一下大文件分片上传和断点续传的问题.因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况.http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块),但这不是我们现在说的重点,我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次网络连接时不必再重传.所以我们本地在上传的时候,要将大文件进行分片,比如分成1024*1024B,即将大文件分成1M的片进行上传,服务器在接收后,再将这些片合并成原始文件,这就是分片的基本原理.断点续

IE大文件断点续传

IE的自带下载功能中没有断点续传功能,要实现断点续传功能,需要用到HTTP协议中鲜为人知的几个响应头和请求头. 一. 两个必要响应头Accept-Ranges.ETag 客户端每次提交下载请求时,服务端都要添加这两个响应头,以保证客户端和服务端将此下载识别为可以断点续传的下载: Accept-Ranges:告知下载客户端这是一个可以恢复续传的下载,存放本次下载的开始字节位置.文件的字节大小: ETag:保存文件的唯一标识(我在用的文件名+文件最后修改时间,以便续传请求时对文件进行验证): Las

Flash大文件断点续传解决方案

核心原理: 该项目核心就是文件分块上传.前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题. * 如何分片: * 如何合成一个文件: * 中断了从哪个分片开始. 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天性曾迫使我重新造轮子.但是因为时间的关系还有工作的关系,我只能罢休了.最后我选择了百度的WebUploader来实现前端所需. 如何合,在合之前,我们还得先解决一个问题,我们如何区分分块所属那个文件的