人生在于折腾:php实现下载导出xx.tar.gz

刚接到这样的需求,其实我是拒绝的。我甚至很有耐心地和pm商量,扔个csv不就好了么?

pm:对方需要一个csv打包成.tar.gz的包,他们是linux server,这是硬性要求。

然后我开始折腾之旅,里面小坑无数。

其实这里大致有两条思路:

1.把生成好的csv利用System(),exec()函数去使用系统命令tar成包,比较蛋疼的是公司配的是windows,我只能在自己虚拟机ubuntu里面测试。

2.利用现成的工具类或者函数什么的, 去直接生成一个tar.gz,然后扔csv进去。

我特么先选第二条路。首先别人是要.tar.gz,我先去查了一下php的内置函数,貌似只有gzwrite,gzopen等文件操作函数,只能把文件弄成安全二进制的.gz文件。我发现如果继续走下去就走到第1条路上了,只能利用系统命令去实现。

我尝试性地在ubuntu下exec(‘tar -cxf do.tar.gz do.csv‘),然而只有run script方式可以执行生成成功,而通过浏览器并没有生成。没得到tar.gz,何谈后面利用一连串header去输出下载文件呢?

所以第一条路是彻底死了,我继续在第二条路上行走。

由于网络不好,没能连上vpn。我只能一直百度,而不能利用到google优质的资源。我搜索了相关php导出tar.gz的资料,国内一大堆抄袭的,基本结论是:少数人遇到这个需求,且遇到了下载出来的文件破损不能打开,无解。

你没看错,是:无解。国内没有一个人解决了这个问题(至少在能搜索出来的page上来看)。我先试着曲线救国,先还是用gzwrite系列函数去创建一个.gz文件,代码如下:

<?php

$gz = gzopen(‘/tmp/do.gz‘, ‘w9‘); // 打开或创建一个.gz文件,linux下记得写权限问题
gzwrite($gz, ‘33c,24ec,32q3‘);// 写入内容到.gz文件
gzclose($gz); // 关闭文件句柄,释放资源
header("Content-Type: application/x-gzip");
$lastPackName = ‘/tmp/do.gz‘;
//header("Content-type:application/octet-stream");
header("Accept-Ranges:bytes");
header("Accept-Length: ".filesize($lastPackName));
Header("Content-Disposition:attachment; filename=records.gz");
@readfile($lastPackName);
//下载文件之后,要删除该压缩包
 @unlink($lastPackName);

相关函数的用法,可以自行查阅php.net上的相关函数。然后我发现单独写一个demo文件,是能下载下来能正常解压的文件,而如果写到公司项目中对应的Controller的function里面,则下载的包是破损的,这是我遇到的第一个坑。

然后我又在想,是否是环境问题。我把下载好的文件包,扔到我虚拟机(ubuntu)里面,也是解压出来有问题。而在服务器上生成的原始文件.gz是完好无缺的。所以我遇到了和这位同学一样的问题:http://bbs.csdn.net/topics/390226194

最后他的提问被说是header头设置的问题,我又仔细排查了一下header设置没有问题。

后面我知道pear有个Archive_Tar类可以直接打包tar文件,我分析了一下,需要安装pear相应的包,成本较大,放弃了这样的做法。

昨天整个下午就在不断下载解压失败和查看国内千篇一律无解的技术资料上消耗完了。晚上回到家,我不甘心,连上vpn,怒用google,很快查到了这篇文章:

http://stackoverflow.com/questions/7004989/creating-zip-or-tar-gz-archive-without-exec

歪果仁果然会折腾,早就遇到类似打包的要求,并且没有使用exec.可以使用php自带的PharData类去创建tar文件,然后通过compress函数打包成tar.gz.关于PharData类和相关函数可以去php.net上查阅。

于是我使用如下代码打包:

<?php

$csvFile = ‘/tmp/do.csv‘;
$fp = fopen($csvFile , ‘w+‘);
fwrite($fp, ‘232,c233,23dc‘);
fclose($fp);
$tarFile = ‘/tmp/archive.tar‘;
$a = new PharData($tarFile);

// ADD FILES TO archive.tar FILE
$a->addFile($csvFile, ‘do.csv‘);
$a->compress(Phar::GZ);
unlink($tarFile);
unlink($csvFile);
header("Content-Type: application/x-gzip");
$lastPackName = $tarFile . ‘.gz‘;
//header("Content-type:application/octet-stream");
header("Accept-Ranges:bytes");
header("Accept-Length: ".filesize($lastPackName));
Header("Content-Disposition:attachment; filename=records.tar.gz");
@readfile($lastPackName);
//下载文件之后,要删除该压缩包
@unlink($lastPackName);

我果真so easy地创建了一个包含xx.csv的tar.gz文件,但是下载解压失败依然存在。当然,如果写一个小脚本直接用浏览器访问是对的,下载的文件也是解压正常。

时间不知不觉就到了今天上午,和部门leader一起排查,先排除了ngnix转发输出的问题(在测试服务器上测试某段代码),也排除了生成文件部分的问题。代码就那么十几行,最后只剩下header输出到最后readfile这部分。

readfile是把文件读到缓冲区里面,而下载下来有问题,多半是buffer区在readfile之前有东西了。于是我bing了一下"php header gz broken"关键字,查到这篇讨论:

http://stackoverflow.com/questions/22046020/php-downloading-tar-gz-file-increases-file-size-and-changes-md5

虽然并不是完全和我想要的内容一样,不过给了我一点提示。我发现他在readfile之前执行了ob_clean(),清除缓冲区。这个函数保证了后面的输出都是干净的,新的。最终我的代码如下:

$csvFile = ‘/tmp/downPrivilege.csv‘;
        $fp = fopen($csvFile, ‘w+‘) or die(‘cant not create file‘);
        fwrite($fp, ‘23233,cw3,232‘);
        fclose($fp);
        $tarFile = ‘/tmp/downPrivilege.tar‘;
        $a = new PharData($tarFile);

        // ADD FILES TO archive.tar FILE
        $a->addFile($csvFile, ‘downPrivilege.csv‘);
        $a->compress(Phar::GZ);
        header("Content-Type: application/x-gzip");
        $lastPackName = $tarFile . ‘.gz‘;
        header("Accept-Ranges:bytes");
        header("Accept-Length: " . filesize($lastPackName));
        Header("Content-Disposition:attachment; filename=downPrivilege.tar.gz");
        header("Expires: 0");
        header("Cache-Control: must-revalidate, post-check=0, pre-check=0");
        header("Cache-Control: private");
        header("Pragma: public");
        ob_clean(); // 清除缓冲区内容
        @readfile($lastPackName);
        unlink($tarFile);
        unlink($csvFile);
        unlink($lastPackName);

下载之后终于正确能解压出东西了。

总结:

1.不要想着别人能帮助你 ,特别是比较不常见的东西,只能自己专研。我以前觉得有团队可以一起探讨,但是实际工作中很少人愿意花时间真的和你讨论。

2.查资料真心不要百度,常见的问题都可能是错误解答,而且千篇一律。还是bing+google吧。

3.排查问题要自信,过滤掉的环节就不要反复折腾。

4.歪果仁往往已经遇到了那些非主流的情况,可以直接借鉴。

希望有做类似需求的朋友可以看到这篇文章,因为国内没有一个人能正面回答这个问题。

时间: 2024-08-03 04:43:22

人生在于折腾:php实现下载导出xx.tar.gz的相关文章

Linux中下载、解压、安装.tar.gz文件

一.将解压包发送到linux服务器上: 1.在windos上下载好.tar.gz文件后,通过winscp等SFTP客户端传送给linux 2.在linux中通过wget命令直接下载 #wget [选项] [下载地址] wget常用参数: -b:后台下载(默认下载到当前目录) -O:用自定义的名字保存下载文件.下载下来的文件默认会用“下载地址的最后一个“/”符号后面的字符串来命名”,而我们可以使用“-O 新文件名” 来重新命名. -limit-rate:限速下载,如wget --limit-rat

Android SDK 5.0 这个语句带来折腾 - 生命在于折腾!

Android SDK 5.0  带来的这番折腾 - 生命在于折腾! 太阳火神的漂亮人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的漂亮人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino.否则.出自本博客的文章拒绝转载或再转载.谢谢合作. 1.首先须要明白一个问题 ,Android 的 SDK,包含例如以下几个主要

Android SDK 5.0 带来的这番折腾 - 生命在于折腾!

Android SDK 5.0  带来的这番折腾 - 生命在于折腾! 太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作. 1.首先需要明确一个问题 ,Android 的 SDK,包括如下几个主要部分

mysql-cacti-templates-1.1.2.tar.gz 免费下载 cacti MySQL增加监控

cacti MySQL增加监控 1. 安装监控插件 wget http://mysql-cacti-templates.googlecode.com/files/mysql-cacti-templates-1.1.2.tar.gz 如果下载不了 百度云盘上有 http://pan.baidu.com/s/1hqH6VwK tar -xzvf mysql-cacti-templates-1.1.2.tar.gz cp mysql-cacti-templates-1.1.2/ss_get_mysql

下载jdk文件后缀是.gz而不是.tar.gz怎么办

用chrom浏览器下载了linux版的jdk.发现文件后缀是.gz.没看过这玩意.一打开,还是一个.gz文件.原本以为是新文件后缀呢,那个百度google啊. . .. 最后都没发现有这方面的资料啊. .... 最后.折腾了好久,无果! 就把.gz文件改成.tar.gz后缀了.... .尼玛... 一打开,jdk文件出现了.....靠.  真坑啊.. .. ps:做个笔记.分享给后来人,免得跟我一样的遭遇.

Apache-kylin-2.0.0-bin-hbase1x.tar.gz的下载与安装(图文详解)

首先,对于Apache Kylin的安装,我有话要说. 由于Apache Kylin本身只是一个Server,所以安装部署还是比较简单的.但是它的前提要求是Hadoop.Hive.HBase必须已经安装且能正常工作. 以下,是我集群环境的情况  Apache kylin的官网安装文档 http://kylin.apache.org/cn/docs21/install/manual_install_guide.html 注意:本博文,立足于对Apache Kylin的单节点部署. 我这里,是安装在

linux 安装maven,注意下载-bin.tar.gz文件

先去http://maven.apache.org/download.cgi下载对应的版本然后放到服务器上/var/local文件夹下面, 此处使用的是apache-maven-3.5.2-bin.tar.gz 这个版本后期可能有所更新,同理即可 然后下面命令解压即可, cd /var/local tar -zxvf apache-maven-3.5.2-bin.tar.gz 我这里将maven解压缩之后的路径为:/var/local 配置maven环境变量 vim /etc/profile 添

php 下载导出xls格式

//xls格式下载 set_time_limit(0); $line_num = 1; $resultPHPExcel = new PHPExcel(); $resultPHPExcel->getActiveSheet()->setCellValue("A1", '业务参考号'); $resultPHPExcel->getActiveSheet()->getColumnDimension('A')->setWidth(10); //设置单元格宽度 $res

asp &lt;----&gt; vb(com,dll) &lt;---&gt; c 来回的调用,生命在于折腾

最近想改进一个两年前写的小程序,原因是最近将运行在托管服务器上的asp程序迁移到阿里云主机上运行. 初次使用阿里云主机,买了一个配置较低的主机(1核,1G内存,年付:1500左右吧) 原来使用的托管的服务器配置较高(双核,1G内存) 原来的代码工作过程: 从远程服务器下载图片保存到本地服务器,进行优化后,再上传到远程服务器. 这里涉及到IO环境较多(下载保存,图片优化后再保存,上传读取),在原来托管的服务器上运行的时候,感觉还行. 但使用阿里云主机后,由于配置较低,硬盘IO性能不高,整个程序运行