PHP 实时生成并下载超大数据量的 Excel 文件

   //另外由于excel数据是从数据库里逐步读出然后写入输出流的所以需要将PHP的执行时间设长一点
    //(默认30秒)set_time_limit(0)不对PHP执行时间做限制。
    set_time_limit(0);
    $columns = [
       ‘文章ID‘, ‘文章标题‘, ...... //‘openid‘
    ];
    //处理需要导出的数据
    $timeStart = strtotime(‘2018-08-08 00:00:00‘);
    $timeEnd = strtotime(‘2018-08-08 23:59:59‘);
    $arr = DB::table(‘t_wechat_user_wx4ed9e1f4e0f3eeb0‘)->select(DB::raw(‘distinct openid‘))->where(‘subscribe_time‘,‘>=‘,$timeStart)->where(‘subscribe_time‘,‘<=‘,$timeEnd);

    $csvFileName = ‘8月8号新增粉丝openid.xlsx‘;
    //设置好告诉浏览器要下载excel文件的headers
    header(‘Content-Description: File Transfer‘);
    header(‘Content-Type: application/vnd.ms-excel‘);
    header(‘Content-Disposition: attachment; filename="‘. $csvFileName .‘"‘);
    header(‘Expires: 0‘);
    header(‘Cache-Control: must-revalidate‘);
    header(‘Pragma: public‘);
    $fp = fopen(‘php://output‘, ‘a‘);//打开output流
    mb_convert_variables(‘GBK‘, ‘UTF-8‘, $columns);
    fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
    $accessNum = $arr->count();//从数据库获取总量,假设是一百万
    $perSize = 1000;//每次查询的条数
    $pages   = ceil($accessNum / $perSize);
    $lastId  = 0;
    for($i = 1; $i <= $pages; $i++) {
        //需要导出的数据
        $accessLog = $arr->offset($lastId)->limit($perSize)->get([‘openid‘])->toArray();
        foreach($accessLog as $access) {
            $rowData = [
                ......//每一行的数据  $access->openid
            ];
            mb_convert_variables(‘GBK‘, ‘UTF-8‘, $rowData);
            fputcsv($fp, $rowData);
            $lastId ++;
        }
        unset($accessLog);//释放变量的内存
        //刷新输出缓冲到浏览器
        ob_flush();
        flush();//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
    }
    fclose($fp);
    exit();

相关实时输出:

①通过设置实现实时输出

ob_end_flush();//关闭缓存
ob_implicit_flush(true);// TRUE 打开绝对刷送 每次缓存即时输出 相当于每次输出后调用flush()
header(‘X-Accel-Buffering: no‘); //关闭输出缓存

②通过 php 语法实现实时输出

$buffer = ini_get(‘output_buffering‘);
echo str_repeat(‘ ‘,$buffer+1); //防止浏览器缓存
ob_end_flush(); //关闭缓存
for( $i=1; $i<=10; $i++ ){
  echo ‘第 ‘.$i.‘ 次输出.‘."<br />\n";
  flush(); //刷新缓存(直接发送到浏览器)
  sleep(1);
}
echo ‘输出完毕‘;

原文地址:https://www.cnblogs.com/xuey/p/9567067.html

时间: 2024-10-10 12:53:03

PHP 实时生成并下载超大数据量的 Excel 文件的相关文章

效率最高的Excel数据导入---(c#调用SSIS Package将数据库数据导入到Excel文件中【附源代码下载】) 转

效率最高的Excel数据导入---(c#调用SSIS Package将数据库数据导入到Excel文件中[附源代码下载])  本文目录: (一)背景 (二)数据库数据导入到Excel的方法比较   (三)SSIS的简介   (四)数据库中存储过程示例(SSIS应用需要) (五)Excel模板的制作(这步这么简单,稍微介绍一下)   (六)SSIS操作过程(生成Package,用来调用)(下一篇随笔将详细讲解制作Package包的过程,图片太多,篇幅过长,因此本文将直接采用生成的Package包进行

使用原生php将数据库数据导出到excel文件中

最近在工作中遇到一个需求,需要将数据库中的数据导出到excel文件中,并下载excel文件.因为以前没做过,所以就百度了一下, 网上说的大多是使用PHPExcel类来操作excel文件,这还要去下载这个类才能使用,而我只想使用原生的php,不想那么麻烦,好在 也有网友说到关于原生php生成excel文件的方法,其实很简单,下面把我结合网上资料自己实践的代码分享一下. 一般我们这种导数据的操作都是通过用户在网页页面上点击某个按钮触发相应js方法,然后请求php接口来实现的,所以主要有两种 方法来完

PHPExcel数据导出到Excel文件

/** * 数据导出到Excel文件 * * @param object $data 要导出的数据内容 * @param object $headArr 设置Excel的头名称 * @param string $fileName 导出的文件名称 * @param string $width 设置单元格的宽度 * * @throws PHPExcel_Exception 异常控制 * @throws PHPExcel_Reader_Exception 控制Excel加载时的异常 * @throws

数据导出至Excel文件--好库编程网http://code1.okbase.net/codefile/SerializeHelper.cs_2012122018724_118.htm

using System; using System.IO; using System.Data; using System.Collections; using System.Data.OleDb; using System.Web; using System.Web.UI; using System.Web.UI.WebControls; /// <summary> /// Excel操作类 /// </summary> /// Microsoft Excel 11.0 Obj

Qt中将QTableView中的数据导出为Excel文件

如果你在做一个报表类的程序,可能将内容导出为Excel文件是一项必须的功能.之前使用MFC的时候我就写过一个类,用于将grid中的数据导出为Excel文件.在使用了QtSql模块后,我很容易的将这个类改写应用在Qt程序中.类的名字叫“ExportExcelObject”.使用起来很简单: [cpp] view plaincopy // 1. declare an object // – fileName Excel 文件路径 // – sheetName Excel 工作表(sheet)名称 /

C#创建Excel文件并将数据导出到Excel文件

C#创建Excel文件,这里实际上是从资源中提取一个事先创建好的Excel文件,文件提取成功后,使用OleDb方法连接Excel,向Excel文件中写入数据. 创建解决方案 菜单>新建>项目>Windows窗体应用程序: 添加相关组件: 添加两个DataGridView,一个TextBox,两个按钮 ,如下图: 添加Excel资源: 先在文件夹中新建一个Excel文件,在Sheet1表的第一行设置列名: 双击"Resources.resx"文件打开资源文件视图: 添加

JavaScript将网页表格数据导出为Excel文件

不使用服务器端的技术,直接使用js将网页中的表格数据导出为excel文件,支持所有浏览器:前提条件是:网页中的表格数据必须使用table标签排版且不能有任何错误. <!DOCTYPE HTML> <html> <head> <title>javascript exportExcel</title> </head> <body> <table id="name" border="1&quo

C#基于NPOI生成具有精确列宽行高的Excel文件的方法

本文实例讲述了C#基于NPOI生成具有精确列宽行高的Excel文件的方法,是非常具有实用价值的技巧分享给大家供大家参考.具体方法如下:. 一.前言 NPOI是操作Excel的神器,导出导入快如闪电, 但是SetColumnWidth函数个人感觉不会用,怎么弄都无法控制好,因为他是以字符数量去设置宽度,实际上Excel列宽还有个像素的概念,更难搞懂了. //附带SetColumnWidth的用法和注释 IWorkbook hssfworkbook = new HSSFWorkbook(); ISh

Python中生成(写入数据到)Excel文件

  转自http://www.crifan.com/export_data_to_excel_file_in_python/ 在Python中,如何将数据,导出为Excel,即把数据写入到新生成的excel文件. 1.网上看到: Working with Excel Files in Python 其中包括,Python中,如何读取excel文件,如何写入数据到excel文件等等相关的库. 看起来应该是这方面的资料中,总结的最好的了. 2.此处暂时只需要写入数据到Excel,所以就去参考: xl