使用PHP生成器批量更新数据

  • 使用PDO操作数据
  • 生成器使用
  • 随机暂停缓解数据库压力
  • 批量更新数据
  • <?php
    header(‘Content-Type: text/html; charset=utf-8‘);
    
    // 定义数据配置信息
    $host   = ‘‘;
    $dbname = ‘‘;
    $user   = ‘‘;
    $pass   = ‘‘;
    $prefix = ‘‘;
    
    try {
    
        // 是否开启更新执行
        define(‘DEBUG‘,true);  // true 执行修改SQL  false 反之,
        $testFor = 0;
        $testNum = 3;  // 测试循环次数 如果开启执行 true 更新SQL,测试无效,
    
        //每次执行多少条数据
        $everyRow = 1000;
        $start = 0;
        $number = 1; // 序号
    
        //记录日志
        $loger = function($content){
            $file = ‘/tmp/sql.log‘;
            $date = date(‘Y-m-d H:i:s‘);
            file_put_contents($file, "[{$date}] | {$content}".PHP_EOL, FILE_APPEND | LOCK_EX);
        };
    
        // 获取当前时间戳,精确到毫秒
        $getCurrentTime = function () {
            list ($msec, $sec) = explode(" ", microtime());
            return (float)$msec + (float)$sec;
        };
    
        // 连接数据库
    $pdo = new PDO ("mysql:host={$host};dbname={$dbname}", $user, $pass);
        $tableName = $prefix.‘order_info‘;
    
        // 定义获取数据函数
        $querySql = ‘‘;
        $selectQuery = function ($pdo, $tableName, $start, $everyRow) {
            global $querySql;
            $querySql = "SELECT order_id,order_sn,buy_from FROM  {$tableName} WHERE buy_from = 0 LIMIT {$start},{$everyRow}";
            $queryStmt = $pdo->prepare($querySql);
            $queryStmt->execute();
            $result = $queryStmt->fetchAll(PDO::FETCH_ASSOC);
            $queryStmt->closeCursor();
            return $result;
        };
    
        do {
    
            // 防止开发时死循环
            if (DEBUG) {
                ++$testFor;
                if ($testFor > $testNum) {
                    break;
                }
            }
    
            // 记录开始时间
            $begin = $getCurrentTime();
            if ($result = $selectQuery($pdo, $tableName, $start, $everyRow)) {
    
                // 定义生成器
                $getGenerator = function ($data) {
                    foreach ($data as $key => $value) {
                        yield $key => $value;
                    }
                };
    
                // 遍历生成器,实现拼接执行SQL语句   1 web UU1%,U1%    2 wap UL%,UM%  3 iOS UA%,UUA%  4 Android UB%,UUB%
                $generator = $getGenerator($result);
                $sql = ‘UPDATE ‘.$tableName.‘
                        SET buy_from = CASE order_id‘;
                $fromArray = [‘U1‘=>1,‘UU1‘=>1,‘UM‘=>2,‘UL‘=>2,‘UA‘=>3,‘UUA‘=>3,‘UB‘=>4,‘UUB‘=>4];
                $orderIdStr = ‘‘;
                foreach ($generator as $value) {
                    $order_sn = isset($value[‘order_sn‘]) ? trim($value[‘order_sn‘]) : false;
                    if ($order_sn) {
                        $prefixFrom = substr($order_sn, 0, 2); // 截取字符串
                        if($prefixFrom == ‘UU‘){  // 快速订单处理
                            $prefixFrom = substr($order_sn, 0, 3);
                            $fromBy = isset($fromArray[$prefixFrom]) ? $fromArray[$prefixFrom] : ‘‘;
                        }else{
                            $fromBy = isset($fromArray[$prefixFrom]) ? $fromArray[$prefixFrom] : ‘‘;
                        }
                        if ($fromBy) {
                            $orderId = $value[‘order_id‘];
                            $orderIdStr .= $orderId.‘,‘;
                            $sql .= " WHEN {$orderId} THEN {$fromBy}";
                        }
                    }
                }
                //拼接SQL,处理大数据更新
                $orderIdStrWhere = rtrim($orderIdStr, ",");
                $sql .= ‘ END WHERE order_id IN (‘.$orderIdStrWhere.‘)‘;
    
                $count = 0;
                if (!DEBUG) {
                    $stmt = $pdo->prepare($sql);
                    $stmt->execute();
                    $count = $stmt->rowCount();
                    $stmt->closeCursor();
                }
    
                $end = $getCurrentTime();
                $spend = round($end - $begin,5);
                $memory = memory_get_usage();  // 返回的单位是b,/1024得到kb,/(1024*1024)得到mb 1024*1024 = 1048576
                $logContent = ‘序号:‘.$number.‘ | 查询SQL:‘.$querySql.‘ | 脚本执行时间为:‘.$spend.‘ 秒 | 影响行数:‘.$count.‘ | 消耗内存:‘.($memory / 1048576).‘ mb‘;
                $loger($logContent); // 记录日志
                echo $logContent.‘<br/>‘;
            }
    
            $start += $everyRow; // 分页记录计数
            ++$number; //序号计数
            // 随机暂停 0.2 - 0.99 秒 缓解并发情况下对DB压力
            usleep(rand(200, 999) * 1000);
        } while ($result = $selectQuery($pdo, $tableName, $start, $everyRow));
    
    } catch (PDOException $e) {
    die( "Error!: " . $e->getMessage());
    }

    原文地址:http://blog.51cto.com/9412490/2299922

    时间: 2024-10-12 11:07:59

    使用PHP生成器批量更新数据的相关文章

    Sql语句批量更新数据(多表关联)

    最近在项目中遇到一个问题,原来设计的功能是不需要一个特定的字段值depid的,但是新的功能需要根据depid来展现,于是出现了这样一个问题,新增加的数据都有正确的depid,而原来的大量的数据就没有depid或者说depid不是想要的,面临要批量更新原来数据depid的问题. 更新涉及到三个表base_cooperativeGroup,base_groupuser,base_user. 列出表结构: 1.base_cooperativeGroup 2.base_groupuser 3.base_

    Mybatis批量更新数据

    Mybatis批量更新数据 第一种方式 [html] view plain copy print? <update id="updateBatch" parameterType="Map"> update aa   set a=#{fptm}, b=#{csoftrain} where c in <foreach collection="cs" index="index" item="item&qu

    度量快速开发平台:网格部件批量更新数据

    在快速开发平台中,如何批量更新网格部件数据?今天给大家介绍平台下的2种方法: 方法一: 利用快速开发平台自身的智能向导,快速构建数据的批量更新功能. 批量更新数据函数:SetColumnValue(stringfiledName,objectvalue,intscope) 作用 获取焦点行的字段的值. 参数 参数一:fieldName      string类型,字段名称. 参数二:value     object类型,更新的值. 参数三:scope     int类型,更新的范围.     更

    spring jdbcTemplate批量更新数据

    方法:先实现BatchPreparedStatementSetter接口,然后再调用JdbcTemplate的batchUpdate(sql,setter)操作,参数sql是预编译语句 ,setter是BatchPreparedStatementSetter的一个实例.或者使用内部匿名类方式. BatchPreparedStatementSetter接口 public interface BatchPreparedStatementSetter{ public int getBatchSize(

    采用存储过程的方式批量更新数据

    采用存储过程的方式批量更新数据,Oracle中也可采用merge-update的方式更新,不过采用如下存储过程的方式会更快些 DECLARE   MAX_ROWS            NUMBER DEFAULT 5000;   ROW_ID_TABLE        DBMS_SQL.UROWID_TABLE;   DATE_TIME_TABLE      DBMS_SQL.DATE_TABLE;   CURSOR C1 IS     SELECT /*+ use_hash(t1,t2) p

    Neo4j 第五篇:批量更新数据

    相比图形数据的查询,Neo4j更新图形数据的速度较慢,通常情况下,Neo4j更新数据的工作流程是:每次数据更新都会执行一次数据库连接,打开一个事务,在事务中更新数据.当数据量非常大时,这种做法非常耗时,大多数时间耗费在连接数据库和打开事务上,高效的做法是利用Neo4j提供的参数(Parameter)机制和UNWIND子句:在一次数据更新中,进行一次连接,打开一次事务,批量更新数据:参数用于提供列表格式的数据,UNWIND子句是把列表数据展开成一行一行的数据,每行数据都会执行结构相同的Cypher

    批量更新数据不同状态时 ,1.在更新前检测 2.更新后执行自己的逻辑

    今天在项目中做盘点管理,盘点单据有 编辑->提交->审批->撤销->退回->开盘->盘毕等状态.根据操作对盘点单据会不停的更新其状态.一般做法是根据这5.6种状态,编写5,6中ServiceImpl方法 分别去Update.若要是批量操作则会加上for循环,代码块冗余过多.自己便将Update抽离出来.抽离出来后,面临这一些问题.就是在有些状态更新操作时,需要做验证(如:退回只能操作审批状态.开盘只能操作审批状态).这个时候就需要在update之前需要判断,看其当前状态

    mybatis学习之路----批量更新数据两种方法效率对比

    原文:https://blog.csdn.net/xu1916659422/article/details/77971696/ 上节探讨了批量新增数据,这节探讨批量更新数据两种写法的效率问题. 实现方式有两种, 一种用for循环通过循环传过来的参数集合,循环出N条sql, 另一种 用mysql的case when 条件判断变相的进行批量更新 下面进行实现. 注意第一种方法要想成功,需要在db链接url后面带一个参数  &allowMultiQueries=true 即:  jdbc:mysql:

    winform批量更新数据_长时间的执行会导致界面卡死

    原文:winform批量更新数据_长时间的执行会导致界面卡死 前言:使用winform触发一个事件后执行的代码,如果耗时非常长,则会导致窗口界面假死!  本人最近通过winform窗体执行一项:需要批量更新一批数据库的数据的操作的任务时,由于数据量达到百万级别,非常耗时,只能慢慢更新,慢慢执行. 但是,在执行的过程遇到了一个奇葩的问题:窗体在调试状态下,代码可以慢慢循环执行,没出现异常.  但是我单独运行EXE程序时,就必现:程序假死,未响应状态. 后台百度虽然没有找到直接的答案,但是也发现了原