作怪的Buffer

俗话说:人丑多作怪。在编程界里面也有很多作怪之物,其中首推buffer.

上一次聊到了tar.gz创建导出的问题,我本以为自己把相关的文件流操作都摸清楚了。没想到当我开心地去研究ip库替换方案和同事们开会的时候,突然技术群里面爆了一句:线上导出文件失败,又是破损文件。

当时我的内心是崩溃的,因为在代码层面 我能解决的都解决了。在ob_clean掉那些混在缓冲区里面的渣滓之后,我的文件流输出应该是没问题的啊。

然后我反复确定了一件事儿,测试环境和我本地都是Ok的,这说明代码本身没问题。线上和测试用的php版本都是5.4.x(不是让人憋屈的php5.3.x),其实也就只剩下php和ngnix的配置问题了。我一方面开始查阅资料,一方面又换了一种思维去思考,是否可以用其他输出方式去做呢?

常见的读出方式有下面几种:

1.readfile()

readfile($downFileName); // 直接读文件内容到缓冲区

2.fread方式

这种方式就是典型的文件流方式去读。google的时候,看到有老外说,如果是比较大的文件,建议还是用这种方式,10240个字节一段一段读,保证文件读取完整。代码如下:

<?php

$handle= fopen(‘somefile.txt‘, ‘r‘);
  while (feof($handle) == false) {
           $part = fread($handle, 10240);
           echo $part;
        }
fclose($handle);

这样分段读,或者分段写入,都是比较安全稳妥的做法。其实对于php来说300M以上的文件才算大文件,所以我在线上无法导出完整文件不是因为读取上。

fread()其实还可以直接读完整个文件,eg:echo fread($fp, filesize($somefile));

3.file_get_contents()

这种方式是比较粗暴的,在文件不大的前提下是ok的,文件大了之后可能在读取过程中出错。

然后顺便我又get了新技能,下载好的文件和服务器上的文件可以对比md5,使用md5_file()函数对比。

总之我反复折腾代码,一无所获,我测试环境每一种写法都是ok的,一到线上就挂了。后面我查到了php.ini里面可以设置output_buffering,设置成On就是不限制。但是在线上设置后并没有什么卵用,且线上和测试环境在这个设置上是一样的,问题也不在这里。

其实不怕调试,就怕问题不好重现或者说只能在线上重现。时间很快就到了下班,女票打电话给我,我特么郁闷,本来想和她去玩命地enjoy life,结果要留下来陪pm一起debug online(公司没有运维,pm兼任了)。

各种倒腾之后,我又一次提出应该是ngnix的问题,是不是buffer设置太小,每次无法输出完整。pm表示反对,ngnix没问题。后来改用其他文件去尝试着下载,开始比较小的文件如40kb的都是ok的,一旦到了50kb,线上环境就傲娇地拒绝完整输出了。最后我明智地离开了公司,我很明确地知道不是code error,我不能一直耗在一个自己不能掌控的事儿上(线上我没权限搞)。

在我和女票欢乐地吃饭的时候,qq里面传来pm解决问题的message.

果不其然是ngnix的设置问题,buffer设置只有4k,而线下测试环境设施的是128k。

作怪的buffer,折腾之后反而能平静地对待了。

时间: 2024-10-05 11:01:09

作怪的Buffer的相关文章

main.c 流程-buffer初始化

void buffer_init(long buffer_end)函数的理解: *   0         0x100000          0x400000                    0x10 00000(16M) *    ---------------------------------------------------------- *   |   kernel  | memery buffer   |   main memory              |      

Netty对Protocol Buffer多协议的支持(八)

Netty对Protocol Buffer多协议的支持(八) 一.背景 在上篇博文中笔者已经用代码演示了如何在netty中使用Protocol Buffer,然而细心的用户可能会发现一个明显的不足之处就是,我们的Handler只能处理一种特定的类型,而我们的项目中又不可能只有一种类型,那么这个问题该怎么解决了?多的不说,笔者直接上代码. 二.代码实现 2.1 message的编写 syntax = "proto2"; package com.rsy.netty.protobuf; op

测试不同格式下depth buffer的精度

这篇文章主要是参考MJP的"Attack of The Depth Buffer",测试不同格式下depth buffer的精度. 测试的depth buffer包含两类: 一是非线性的depth buffer,存储着perspective z(也就是最常用的,透视投影后归一化的z/w的buffer),二是线性的depth buffer,存储着view space z(这里的线性指的是在view space 中是否线性).测试的格式包括16位浮点数,32位浮点数,16位定点数,还有最常

Linux内存学习之buffer和cache的区别详解

本文和大家分享的主要是linux 中 内存buffer 和 cache 的区别相关内容,一起来看看吧,希望对大家 学习linux有所帮助. 细心的朋友会注意到, 当你在 linux 下频繁存取文件后 , 物理内存会很快被用光 , 当程序结束后 , 内存不会被正常释放 , 而是一直作为 caching. 这个问题 , 貌似有不少人在问 , 不过都没有看到有什么很好解决的办法 . 那么我来谈谈这个问题 . 先来说说free 命令 [[email protected] ~]# free -m tota

Java NIO中的缓冲区Buffer(一)缓冲区基础

什么是缓冲区(Buffer) 定义 简单地说就是一块存储区域,哈哈哈,可能太简单了,或者可以换种说法,从代码的角度来讲(可以查看JDK中Buffer.ByteBuffer.DoubleBuffer等的源码),Buffer类内部其实就是一个基本数据类型的数组,以及对这个缓冲数组的各种操作: 常见的缓冲区如ByteBuffer.IntBuffer.DoubleBuffer...内部对应的数组依次是byte.int.double... 与通道的关系 在Java NIO中,缓冲区主要是跟通道(Chann

Linux中的Buffer 与 Cache

A buffer is something that has yet to be "written" to disk.       A cache is something that has been "read" from the disk and stored for later use. 缓存(cache)是把读取过的数据保存起来,重新读取时若命中(找到需要的数据)就不要去读硬盘了,若没有命中就读硬盘.其中的数据会根据读取频率进行组织,把最频繁读取的内容放在最

Potocol Buffer详解

protocol安装及使用 上一篇博文介绍了一个综合案例,这篇将详细介绍protocol buffer. 为什么使用protocol buffer? java默认序列化效率较低. apache的thrift方案并无明显优势,但是使用成本较高,安装等较为麻烦. 虽然PB不支持map,但是我们的应用中map用的较少,即使使用了存储的数据量也较少,可以转化为list方案进行存储. 以前我玩过PB,这很关键,当你有某方面的经验时能较轻松的应对一些意外情况. 保证同一消息报文新旧版本之间的兼容性 使用SO

SQL Server 2014新特性——Buffer Pool扩展

Buffer Pool扩展 Buffer Pool扩展是buffer pool 和非易失的SSD硬盘做连接.以SSD硬盘的特点来提高随机读性能. 缓冲池扩展优点 SQL Server读以随机读为主,SQL Server IO分为2部分:buffer pool管理方式,和buffer pool. SQL Server 从磁盘中读入数据,并且存放在buffer pool中以供读取和修改,修改完之后脏数据还是放在buffer pool中,当内存紧张执行lazy write把脏数据写入磁盘,并且释放内存

bit Buffer

在音频流解析过程中,常常会涉及到顺序读取某些bit的操作. #include<stdio.h>typedef struct _BIT_BUF { unsigned char buffer[1024]; unsigned int byteSize; unsigned int bytePosition; unsigned int bitPosition; unsigned int wBytePosition;}tBitBuffer;unsigned int mask(unsigned int bi