ajax大数据导入的一系列问题处理

介绍:就是想实现简单的ajax上传数据,但是当数据量较大的时候,问题就一个一个接着来了,其实数据也不是很大,就是csv格式数据
不到5w条数据。大小5M,一开始认为这个很简单,就是先上传一下文件,然后读取一下,存到数据库就好了,结果,可能我比较菜,弄了半天做出这个功能。环境是linux.

遇到的问题就从先到后的一一说吧。

问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。

处理办法:我是这样做的,大神有更好的办法,求介绍。我先把文件上传上去,然后把文件存到一个特定的文件夹就叫 import吧  
,然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js 
给客户一个提示。然后就是ajax去请求php读取文件,插入数据库。可是问题来了。

问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我一想
,这应该是php的最大执行时间max_execution_time的原因吧,结果我修改为300秒。还是这样,那我就认为会不会是apache的
最大get时间max_input_time呢,我就在代码加一个 ini_set  结果,用ini_get  
查看max_input_time,用ini_set设置无效,还是60秒,在网上查了很多资料,还是不知道为啥。有大神知道的,请给我回复下。菜鸟先谢过了。那没办法,我只能去服务器把php.ini配置修改了。经理说不让修改的,为了测试,偷偷改了--最后修改回来了。修改之后,测试,还是不行。还是到一分钟
就执行超时。真的很纳闷。不知道什么原因。求指教。那没办法。

这种办法行不通了,对一个5m的文件只能分行读取了。然后就是对代码的一通修改,分行读取是这样操作的,先ajax请求,然后每次读取2000条 
然后对这2000条数据进行处理,插入数据库(文章最后介绍一个好用的分行读取函数)。然后每次ajax执行完,返回一个状态符,和本次读取到的行数,然后下次接着读。知道最后读取完。这中间还遇到一个问题:就是当我对每一行数据进行查重的时候遇到的,是这样的,我对得到的内容进行循环,然后查一下每行是否存在,当我判断$count是否大于0
的时候,当已存在的时候,我用continue,执行下一次循环。但是当我在导入10000条的时候,总是在8000条的时候报错说
服务器内部错误。很闷,不解问什么,结果只能用if  else代替了。纳闷。一个小提醒:插入数据库的时候 不要一条一条的插入,最好这样
inset  into  aaa(`xx`,`xxx`)values(‘111‘,‘111‘),(‘222‘,‘222‘)。这样
速度会快很多。

行号读取函数,SplFileObject这个类库真的很好用推荐。有知道我的问题的,求大神指教。

function getFileLines($filename, $startLine, $endLine, $method =
‘rb‘){
      $content =
array();
      $filename = DATA_PATH.DS.‘import‘ .
DS . $filename;
      $count = $endLine -
$startLine;
      $fp = new SplFileObject($filename,
$method);
      $fp->seek($startLine); // 转到第N行,
seek方法参数从0开始计数
      for ($ii = 0; $ii <= $count;
++$ii) {
           
$content[] = $fp->current(); //
current()获取当前行内容
           
$fp->next(); // 下一行
     
}
      return array_filter($content); //
array_filter过滤:false,null,‘‘
}

时间: 2024-08-05 00:36:27

ajax大数据导入的一系列问题处理的相关文章

ajax大数据排队导出+进度条

描述 :我们现在有很多数据,分表存放,现在需要有精度条的导出.最后面有完整源码. 效果图: 点击导出,实现 点击导出 统计完成之后 点击确定 前面导出操作简单,从第二个导出操作开始: 点击"确定"调用exportCsv函数 <a class="on" href="javascript:exportCsv();"><em>导出</em></a> exportCvs函数如下 function expor

大数据导入Excel

在平时的项目中,将数据导出到Excel的需求是很常见的,在此对一些常见的方法做以总结,并提供一种大数据量导出的实现. OLEDB   使用OLEDB可以很方便导出Excel,思路很简单,处理时将Excel当做Access处理,利用SQL建表.插入数据.不多说了,直接看代码  使用OLEDB导出Excel public static void Export(DataTable dt, string filepath, string tablename) { //excel 2003格式 strin

SQL Server大数据导入导出:将一张表的数据导入到另一张表

今天下午休息的时候又被扔给一项任务:把全国的街道数据导入街道表.但是他们扔给我的SQL脚本是从网上down的一个,跟平台这边的数据库设计的完全不一样. 当时的思路是:先把扔给我的脚本在本地生成一个表,然后选出要的数据,批量插入到开发库所在服务器的表. 然后,按照这个思路做了个测试: INSERT INTO dbo.test_Street(Code,CountyCode,CnName,VersionNo,Creator,CreateTime,ValidStatus) /*要插入数据的表*/ SEL

jQuery ajax大数据量each输出 list

<script>var tbodystr = "";$.ajax({                type: "get",                url: "gettable.ashx",                cache: false,                datatype: "json",                success: function(msg) {        

php 在线 mysql 大数据导入程序

1 <?php 2 header("content-type:text/html;charset=utf-8"); 3 error_reporting(E_ALL); 4 set_time_limit(0); 5 $file='./test.sql'; 6 $data=file($file); 7 8 echo "<pre>"; 9 //print_r($data); 10 $data_new=array(); 11 $tmp=array(); 1

SQL Server 2012大数据导入Oracle的解决方案

在实际工作中需要把SQL Server中的表导入Oracle.之前尝试过直接用SQL Server的DTS进行都没问题.但这次因为数据量在千万级所以报虚拟内存不足.最后通过SQL Server导出txt文件和Oracle sqlldr导入的方案解决. 一.SQL Server导出txt文件 方法1.使用DTS进行导出. 方法2.使用BCP命令进行导出,具体可以查看园内文章:SQL Server中bcp命令的用法以及数据批量导入导出 通过以上方法可以生成txt文件 二.Oracle sqlldr导

提升大数据数据分析性能的方法及技术(一)

关于此文 最近在忙着准备校招的相关复习,所以也整理了一下上学期上课时候的学到的一些知识.刚好发现当时还写了一篇类似于文献综述性质的文章,就在这里贴出来.题材是关于大数据的,也是比较火热的一个话题,虽然现在接触的项目与大数据不太有关联,可能以后也不一定从事这方面的工作吧.就IT行业的研究成果来讲国外期刊无论是发表速度还是质量都是高于国内,所以参考的大部分都是当时最新在核心期刊上发表的论文,参考文献在最后一一列出.因为文章没有多少自己的创新点,仅仅是最新.最热技术或者分析的一个总结,所以放上来仅仅是

Mysql数据导入测试

1. 背景 导入150w数据到mysql,数据格式为tab分隔csv文件.测试索引对导入速度的影响 2. 无索引,导入数据后重建 CREATE TABLE `tab` ( `ct_id` char(36) DEFAULT NULL COMMENT 'id', `ct_title` varchar(200) DEFAULT NULL COMMENT '标题', `bd_id` int(11) DEFAULT NULL COMMENT 'bdid', `org_unit` int(11) DEFAU

大数据分析学习之路

大数据分析学习之路 目录: 一.大数据分析的五个基本方面 二.如何选择适合的数据分析工具 三.如何区分三个大数据热门职业 四.从菜鸟成为数据科学家的 9步养成方案 五.从入门到精通--快速学会大数据分析                             一.大数据分析的五个基本方面 1,可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一