网络数据如何可靠传输

1.数据库在企业内部都是在区域网,而区域网都是内网,而外网如果要抓取内网的数据,一般要么开放内网数据库的IP要么不开发,实际都是不开发,因此我们都是做一个内外网数据传输的服务,也就是做一个传输软件。

2.一个抓取内网数据库数据,转换成文件,传输到外网,外网接收。一般都是通时间窗口以及定时调度机制运行。

3.问题:

  如何保证传输安全???????

  思路:

    借鉴网络通信的原理:三次握手机制

              重发机制

    编程模型:

        ACK:同步返回确认帧,如果超时,进行转发。

4.借鉴模型:

    线程

      Job Task-----批处理框架:Spring Batch

      ESB、ETL----管道、Service、

      Storm-------

时间: 2024-11-05 08:30:17

网络数据如何可靠传输的相关文章

基于位图索引的无线传感器网络可靠传输协议_爱学术

[摘要]根据无线传感器网络中大量上行数据流实时传输的需求,提出一种基于位图索引的可靠传输协议(BRDT).该协议使用迭代方式完成一组大量数据的传输.每次迭代的上行数据流采用无重传传输以减少延迟,并采用可靠后项传输传送带有错误标识的位图索引以恢复丢失数据.在已有低功耗无线图像传感器网络Z-EYE系统中实现并进行验证,结果表明,与RMST协议相比,BRDT对下层的服务需求少,在网络质量较差的情况下,BRDT的性能明显优于NACK重传方法,在同等测试条件下,BRDT的传输效率优于PSFQ协议. [作者

[Android Traffic] 让android应用在传输网络数据的时候更省电

到今年6月,我国的手机网民已经达到了3.88亿,超过了电脑终端.相信有智能机的同学都用过手机上网冲浪.但是手机的电量很快被用光了恐怕是每个人都不能忍受的一件事情.而打开数据连接进行网络数据的传输是很耗费电量的,如果用户发现你的应用榨干了他电池里的电,恐怕他会第一时间将你的应用给卸载掉.所以进行网络应用的开发理解怎样才能更省电就很有必要了. 如果数据连接一直保持着激活的状态,那么它的耗电量是很惊人的,所以手机会在网络空闲的情况下自动休眠数据连接来达到省电的目的.以3G网络来举例,它有三个不同的状态

终端、网络到服务端(一)从日常vps云服务器的管理看数据包的传输

从日常vps云服务器的管理看数据包的传输 无论从app移动端,还是pc设备,总要通过接入,通过网络传输到服务端进行数据握手和各类交互,那么从这个角度出发,就可以看到各种终端设备发出的网络请求,最终还是要特定方式连接上服务端的.以vps服务器管理来说,一般vps idc都提供2种接入方式:远程桌面和web接入: 1 远程接入走的是应用层,发送的是segment段地址信息,通过tcp/ip协议的3次握手建立连接,出现远程桌面的登录界面. 2 web登录,一般都是由idc提供一个web管理界面,在会员

网络数据包分析 网卡Offload

http://blog.nsfocus.net/network-packets-analysis-nic-offload/ 对于网络安全来说,网络传输数据包的捕获和分析是个基础工作,绿盟科技研究员在日常工作中,经常会捕获到一些大小远大于MTU值的数据包,经过分析这些大包的特性,发现和网卡的offload特性有关,本文对网卡Offload技术做简要描述. 文章目录 网络分片技术 网卡offload机制 发送模式 接收模式 网卡offload模式的设置 Linux windows 网卡Offload

黑马程序员——Java网络编程之UDP传输

网络编程 网络模型 通讯要素:InetAddress(对象):ip地址,网络中设备的标识,不可记忆,可用主机名,本地回环地址:127.0.0.1主机名localhost 端口号 传输协议:UDP,将数据的源及目的封装成数据包中,不需要建立连接,每个数据包的大小限制在64K内,无连接,是不可靠协议,不需要建立连接,速度快.力求速度,不求数据的准确性.比如聊天软件,网络会议. TCP:建立连接,形成传输数据的通道,在连接中进行大数据量传输,通过三次握手完成连接,是可靠协议,必须建立连接效率稍低. S

Windows下基于UDP的可靠传输协议实现

前言:在某互联网公司实习了好几个月,有一个月都是在做基于UDP协议的应用层软件开发,目的是要用在流媒体服务器上,传输高清视频图像帧.整个开发过程,从0到最后完成了几百兆以上的大文件可靠传输,但效率方面还需要进一步提升.UDP网络传输协议部分编程,由于存在丢包问题,确实有点复杂,现在分享一下自己的开发经验. #ifndef UDPNONBLOCKINGOUTPUT #define UDPNONBLOCKINGOUTPUT #include "winsock.h" #include <

Linux程序设计学习笔记----网络编程之网络数据包拆封包与字节顺序大小端

网络数据包的封包与拆包 过程如下: 将数据从一台计算机通过一定的路径发送到另一台计算机.应用层数据通过协议栈发到网络上时,每层协议都要加上一个数据首部(header),称为封装(Encapsulation),如下图所示: 不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据包(packet),在链路层叫做帧(frame).数据封装成帧后发到传输介质上,到达目的主机后每层协议再剥掉相应的首部,最后将应用层数据交给应用程序处理. 上图对应两台计算机在同一网段中的情况,

UDP可靠传输那些事

有空来论坛走走,发现讨论udp可靠传输又热了起来,有人认为udp高效率,有人认为udp丢包重传机制容易控制,还有朋友搞极限测试,当然也有人推销自己的东西,这里写一点我个人的看法. udp可靠传输其实非常非常的简单,我最开始接触udp可靠传输大约是在2005年,因为那时候开发FtpAnywhere,由于路由的映射和网关nat处理方面,认为udp具有天生优势,因此开始编写自己的udp可靠传输协议,好象那个时候已经有了udt,我也下了源代码看了下,不过很快就看不下去了,因为它用了定时器,加上跨平台处理

TCP可靠传输详解

TCP提供了可靠的传输服务,这是通过下列方式提供的: 分块发送:应用数据被分割成TCP认为最适合发送的数据块.由TCP传递给IP的信息单位称为报文段或段(segment) 定时确认重传:当TCP发出一个段后,它启动一个定时器,等待目的端确认收到这个报文段.如果不能及时收到一个确认,将重发这个报文段. 当TCP收到发自TCP连接另一端的数据,它将发送一个确认.这个确认不是立即发送,通常将推迟几分之一秒 数据校验:TCP将保持它首部和数据的检验和.这是一个端到端的检验和,目的是检测数据在传输过程中的