Dubbo限制大数据传输的解决方案

当service层向web层传输大数据容量的对象时,会受到Dubbo的限制,报类似如下异常:

com.alibaba.dubbo.remoting.transport.AbstractCodec.checkPayload() ERROR   
Data length too large: 11557050, max payload: 8388608
Java.io.IOException: Data length too large: 11557050, max payload: 838860

解决方案如下:

1、在项目中集成MongoDB

2、在service层把大容量数据存放到mongodb中;

3、在web层从MongoDB中取出大容量数据。

时间: 2024-10-09 01:32:31

Dubbo限制大数据传输的解决方案的相关文章

大数据分页解决方案

1 编写目的 解决系统需要检索大数据列表时的性能问题,而提出的分页方案 2 术语.定义和缩略语 3 大数据量检索的性能问题分析 大数据量检索的性能存在问题,问题主要包括 3.1 客户端在IE或者cs端数据量过大会导致IE变慢,甚至死锁 现象: IE浏览器崩溃 浏览器白板,停止响应 3.2 客户端--web服务器之间的数据传输量大会导致客户端速度变慢,效率降低 现象: IE浏览器长期在等待时白板 IE 浏览器操作慢 3.3 中间层构造大数据列表会导致中间层性能降低 现象: 并发访问多时,应用服务器

Dubbo服务 上传文件解决方案以及Hessian协议

? 协议支持 Dubbo支持多种协议,如下所示: Dubbo协议 Hessian协议 HTTP协议 RMI协议 WebService协议 Thrift协议 Memcached协议 Redis协议 在通信过程中,不同的服务等级一般对应着不同的服务质量,那么选择合适的协议便是一件非常重要的事情.你可以根据你应用的创建来选择.例如,使用RMI协议,一般会受到防火墙的限制,所以对于外部与内部进行通信的场景,就不要使用RMI协议,而是基于HTTP协议或者Hessian协议. dubbo服务不支持File文

常见的6大数据存储解决方案

随着信息时代到来,中小企业产生的数据量比以往任何时候都要多得多.但是不幸的是,硬盘驱动器和相关的存储技术的每GB成本却依然高居不下,而以云计算为核心的云存储技术的出现无疑为中小企业数据存储问题提供了解决方案. 6大常见的数据云存储解决方案 1.直接附加存储: DAS表示直接连接到PC或服务器,典型地使用USB 2.0或USB 3.0外设端口存储设备.DAS的一个缺点是,你需要做的临时或批量备份数据复制,这意味着它们可能包含了过期版本的文件. 2.网络连接存储: NAS 设备是直接连接到网络的存储

域名到站点的负载均衡技术一览(主要是探讨一台Nginx抵御大并发的解决方案)(转)

继上一篇文章Http://www.cnblogs.com/EasonJim/p/7807794.html中说到的,Nginx虽然很强大,但是面对大并发时,一台Nginx总是有限的.即使后端有多台Nginx组成的集群时,前端毕竟只有一台Nginx,资源往往有限. 下面将介绍应对这样的情况应该有的解决方案,其实原理就是集群,使用的是LVS. 我猜测和简单的理解(观点虽然是错的,但是好理解,如果要深入原理远没有这么简单):为什么LVS的集群能够抵御这么大的并发,一切都出在VIP上,首先依托LVS的负载

DKH大数据整体解决方案的优势介绍

大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作,可以预见的是在大数据提升为国家战略层面后,未来的几年里大数据技术将会被更多的行业应用.相信很多人对于大数据技术的应用还是处于一个非常陌生的阶段,可能在很多地方听说过大数据,但具体应用在哪方面可能就并不清楚了.举个最简单的的例子,前段时间新闻报道说警方在某明星的演唱会上抓捕了一名在逃嫌犯,而这名嫌犯是在进入现场时被监控识别出来的.这种就是大数据技术的一种具体的应用表现.这个案例可能不是很贴切,但应该很好理解了吧!企业对大数据技术的需

打造大数据存储解决方案,铁威马西部数据渠道交流会在深举行

12月28日,"铁威马西部数据渠道交流会"在深圳中航格兰云天大酒店顺利举行,本次交流会向大家介绍了铁威马和西部数据的多款产品,反响热烈.现场50多位渠道代理经销商参加,共同交流学习铁威马NAS和西部数据红盘产品.?铁威马作为国际知名存储品牌,在本次交流会重点展示雷电3系列产品和NAS网络存储,还有全新推出的TOS 4.0系统,交流会期间除了有西部数据红盘外,还有铁雷电3产品和NAS网络存储服务器供大家参观演示.交流会上铁威马国内总监张志华致辞.铁威马产品经理给大家介绍铁威马雷电3系列产

如何分发大文件、大文件传输解决方案

随着云计算.大数据技术不断发展,4K 视频.虚拟现实(VR).视频直播等互联网应用领域不断升级更新,企业网.数据中心规模持续扩大,企业拥有的数据急剧增长,海量文件随之产生. 同时,互联网时代,众多行业都面临大型文件传输的问题,速度慢,是否安全,是优先考虑的前提! 一直以来,企业通常使用QQ软件.FTP.网盘或拆分数据.快递硬盘等方式进行海量文件上传和下载. 但是这些方式存在很多弊端,导致企业不能有效利用海量文件: 通常的一些方法: 1.使用QQ等软件直接对传:这种方法在线随时都可以传,比较方便,

【优化】MySQL千万级大表优化解决方案

问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务. 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视.原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!! 我尝试解决该问题,so,有个这个日志. 方案概述 方案一:优化现有mysql数据库.优点:不影响现有业务

Flash大文件断点续传解决方案

核心原理: 该项目核心就是文件分块上传.前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题. * 如何分片: * 如何合成一个文件: * 中断了从哪个分片开始. 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天性曾迫使我重新造轮子.但是因为时间的关系还有工作的关系,我只能罢休了.最后我选择了百度的WebUploader来实现前端所需. 如何合,在合之前,我们还得先解决一个问题,我们如何区分分块所属那个文件的