干货!IT经理应知道的超大文件高速传输解决方案

数据正在爆炸式增长,几乎每两年翻一番。随之增加的不仅是数据的数量,还有单体文件的容量:一张图片2-3G、一本书稿4-5G、一个视频片段3-4G、一份设计图纸十几G……甚至还有上百G的大文件。

这些数据和文件可能是组织机构重要的业务数据,也可能是其重要的信息资源。它们对于组织机构,尤其是媒体、娱乐、科学计算、电信、生命科学、医学研究、汽车等数据密集型组织而言至关重要。

超大文件传输面临的挑战

通常情况下,组织机构使用邮件、QQ、FTP等常规方式进行文件传输,但是当文件容量在2-3G以上时,上述方法就变得非常缓慢。如果文件更大时,快递硬盘等方式经常被使用,但是快递硬盘通常要花二三天的时间,不能满足及时获取文件的要求。

如何高效传输和管理大文件,已经成为制约组织机构业务开展的一大挑战:

文件容量的增大,使得交付和获得文件的周期变长;
文件传输缓慢,导致组织机构的工作效率变低;
像传输普通文件一样,简单便捷地进行超大文件传输。

Ftrans超大文件高速传输解决方案

该方案由Ftrans飞驰传输推出,已应用于制造业、传媒业、遥感测绘等多个行业。

超大文件智能分段
根据当前实时的网络条件、传输节点自身资源占用情况等综合因素,对超大文件进行智能的虚拟分段传输,即便在异常复杂的网络条件和架构下,依然可以实现资源的最大化利用。

优异的传输性能
采用超高速传输协议CUTP,使得用户可以在任何网络条件下,无论距离远近,都可以进行超大文件上传下载,而且传输速度可达传统FTP方式的30倍以上,大大缩短文件传输时间。

企业级的可靠性
通过多重校验、断点续传、错误自动重传三重保障,确保传输源文件与目标文件 100% 的一致性,避免文件传输过程中出现细微的错误,可能给用户业务造成的巨大影响和损失。

企业级的安全性
支持文件传输内容加密,可以选择数据加密方案,在数据收发两端之间形成加密隧道,以保证在大文件上传下载过程中不会被窃取或泄露。

自动化与文件工作流
支持周期性传输和实时同步传输,自动持续进行文件调度。支持文件传输前后的自定义处理逻辑,满足自动化数据处理、数据流转的业务流程。

文件传输监控与管理
用户可以方便地监控大文件上传及下载任务的传输情况,获得文件传输进度、速度和状态等信息,并且能够对文件传输任务进行暂停、续传和取消等操作。

原文地址:http://blog.51cto.com/14119107/2329783

时间: 2024-10-08 09:44:09

干货!IT经理应知道的超大文件高速传输解决方案的相关文章

如何分发大文件、文件夹传输解决方案

总结一下大文件分片上传和断点续传的问题.因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况.http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块),但这不是我们现在说的重点,我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次网络连接时不必再重传.所以我们本地在上传的时候,要将大文件进行分片,比如分成1024*1024B,即将大文件分成1M的片进行上传,服务器在接收后,再将这些片合并成原始文件,这就是分片的基本原理.断点续

java读写文件,读超大文件

一直在处理爬虫,经常能遇到读写文件的操作,很多时候都是读写超大文件,记录如下: 一.读文件 import java.io.BufferedOutputStream; import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException;

java读取大文件 超大文件的几种方法

计算机技术学习用书: 编程技术资料:http://myitbook.taobao.com/  电脑技术群:291644908    用技术改变人生,欢迎您的加入 java 读取一个巨大的文本文件既能保证内存不溢出又能保证性能 2010-09-25 11:18:50|  分类: 默认分类 |字号 订阅 import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.Rando

超大文件上传到Azure Linux虚拟机最佳实践

客户在实际进行迁移的时候,往往碰到需要将本地数据中心的超大文件,比如单个200GB的文件,或者总共1TB的无数文件上传到Azure上的情况,尤其是传到Azure的Linux虚拟机的场景,这种场景包括: 大日志文件上传到Azure进行分析 数据库备份文件导入导出 大数据文件下载到本地等等 尤其是要将数据库备份文件导入到Linux虚拟机进行数据库恢复,一般用户常常会选择传统的FTP方式进行处理,这样的方式通常会花费用户十几个小时,甚至几天的时间进行文件传输,但是在云计算的时代,其实有非常多的工具和方

超大文件上传(web应用---SSH框架)

struts提供的上传文件功能,文件太大就报错. 需要解决超大文件(几个G)上传的问题.断点续传的功能. 技术选型,查百度之后.最终选择了这个stream插件. stream官方资料地址:http://www.twinkling.cn/ 去下载源码.源码地址.项目源码托管在git.oschina.net,地址:http://git.oschina.net/jiangdx/stream 解压安装包之后,在eclipse中导入此项目.(注,这是一个Maven项目,服务器用的是tomcat 不是jet

通过 IceWarp WebMail 智能附件轻松发送超大文件

IceWarp v11 邮件服务器可以设置系统中普通用户的文件夹映射作为该用户的个人 FTP 文件夹,让用户通过 WebMail 去管理和使用邮件服务器端提供的 FTP  服务,然后结合 WebMail 的智能附件(SmartAttach)功能,将超大文件通过邮件方式发送给对方.实际发送的并非是超大文件本身,而是通过 HTTP 方式提供的文件分享下载地址,超大附件的下载操作并不会占用邮件服务器有限的带宽资源.另外,还可以再进一步,结合最新版 IceWarp V11.4 提供的  TeamChat

HTML5的FileAPI实现文件的读取及超大文件的上传

HTML5的FileAPI实现文件的读取及超大文件的上传 2015-02-04 一.FileAPI实现本地文件的信息读取 <html> ????<head> ????<title>FormData</title>? ????<script?type="text/javascript"> //选择文件时调用 function?selectfile(){ ????//控制台显示??得到文件列表对象??文件数组 ????//cons

java中利用RandomAccessFile读取超大文件

超大文件我们使用普通的文件读取方式都很慢很卡,在java中为我提供了RandomAccessFile函数,可以快速的读取超大文件并且不会感觉到卡哦,下面看我的一个演示实例. 服务器的日志文件往往达到400多M,简单的文件读取实在太慢,太占用机器资源. 特别是如果你需要5分钟就扫描一次日志文件,来统计一些即时数据.比如刚才10分钟的来访客户(大型网站用户统计系统例如51.la 会经常用到吧.)即时扫描大数据文件中的一部分显得非常之重要.本文讲述了如果使用java的RandomAccessFile方

上传超大文件--简单粗暴法

如何上传超大文件? ASP.NET 默认的请求长度为 4096,如果头信息中 Content-Length 的请求长度超过默认的值, IIS 将返回一个 403 错误信息.显然,你会直接联想到以下 2 种解决方案: 修改 web.config 的配置,扩大此 Web 项目请求长度的限制: <system.web> <httpRuntime maxRequestLength="40960" executionTimeout="3600" />