[转]solr DataImportHandler 解决mysql 表导入内存溢出问题

最近一个项目要用到solr做全文检索,开始盲人摸象。 用tomcat 7 开始配置,开始正常,但是遇到cookie里有中文就报错。 无奈,换tomcat 6, 结果DataImportHandler 就不间断报内存溢出的错误。 百度google之, 发现资料都是很老的,不是说mysql不支持某属性,就是要自己改导入代码。期间得知 batchSize这个属性,遂查询官网。(关键时刻,还是官网给 力) mysql的设置(红色部分),搞定。

<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:8889/mysqldatabase" batchSize="-1" user="root" password="root"/>

http://wiki.apache.org/solr/DataImportHandlerFaq?highlight=%28responseBuffering%29#I.27m_using_DataImportHandler_with_a_MySQL

http://blog.csdn.net/leijuly/article/details/7966810

时间: 2024-10-11 21:11:18

[转]solr DataImportHandler 解决mysql 表导入内存溢出问题的相关文章

解决Mysql占用cpu,内存高故障案例

故障: 晚上大概7点钟左右,收到播放中心投诉,说视频播放很慢,加载很久不出来.一开始,哥以为是tomcat服务又挂了.所以到tomcat服务器上查看下catalina.out输出日志.却没发现任务错误信息. 分析: 想了想,视频加载慢,会不会是数据库问题呢?果断上mysql数据库(从库)看下top如下:   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND    37258 mysql    20   0 17.

解决MySQL数据导入报错Got a packet bigger than‘max_allowed_packet’bytes

临时修改:mysql>set global max_allowed_packet=524288000;修改 #512M 这条语句可以在小黑窗里执行,也可以在navicat查询新建查询里执行.

C# 解决datatable写入文件内存溢出问题

1.程序生成目标平台设为x64 2.文件写入后主动回收内存

图片--Android有效解决加载大图片时内存溢出的问题

Android有效解决加载大图片时内存溢出的问题 博客分类: Android Android游戏虚拟机算法JNI 尽量不要使用setImageBitmap或setImageResource或BitmapFactory.decodeResource来设置一张大图,因为这些函数在完成decode后,最终都是通过java层的createBitmap来完成的,需要消耗更多内存. 因此,改用先通过BitmapFactory.decodeStream方法,创建出一个bitmap,再将其设为ImageView

Android有效解决加载大图片时内存溢出的问题

尽量不要使用setImageBitmap或setImageResource或BitmapFactory.decodeResource来设置一张大图, 因为这些函数在完成decode后,最终都是通过java层的createBitmap来完成的,需要消耗更多内存. 因此,改用先通过BitmapFactory.decodeStream方法,创建出一个bitmap,再将其设为ImageView的 source, decodeStream最大的秘密在于其直接调用JNI>>nativeDecodeAsse

android解决内存溢出的问题(没有从根本上解决)

Android游戏虚拟机算法JNI 尽量不要使用setImageBitmap或setImageResource或BitmapFactory.decodeResource来设置一张大图,因为这些函数在完成decode后,最终都是通过java层的createBitmap来完成的,需要消耗更多内存. 因此,改用先通过BitmapFactory.decodeStream方法,创建出一个bitmap,再将其设为ImageView的 source,decodeStream最大的秘密在于其直接调用JNI>>

Android图片处理内存溢出学习

尽量不要使用setImageBitmap或setImageResource或BitmapFactory.decodeResource来设置一张大图,因为这些函数在完成decode后,最终都是通过java层的createBitmap来完成的,需要消耗更多内存. 因此,改用先通过BitmapFactory.decodeStream方法,创建出一个bitmap,再将其设为ImageView的 source,decodeStream最大的秘密在于其直接调用JNI>>nativeDecodeAsset(

AndroidStudio中Handler类的内存溢出风险

package com.test.king.xmlparser; import android.annotation.SuppressLint; import android.app.Activity; import android.content.res.Resources; import android.os.Handler; import android.os.Message; import android.support.v7.app.AppCompatActivity; import

Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题.但是,换成一千九百万数据时,solr报内存异常,整个tomcat无法使用.我发现,我给tomcat最大堆内存512M.我觉得,可能是内存过小,于是,我把内存改大些,1024M(set JAVA_OPTS=-server -Xms1024m -Xmx1024m -XX:PermSize=128M -XX:MaxPermSize=256M ).结果,还是内存溢出.我想已经不是tomcat内存的问题(当然,如果