当你要处理一个 2GB 的 Nginx 访问日志,或者从数据库里导出百万行报表时,PHP 生成器(Generator)几乎是唯一能让你既保留"顺序遍历"这种直觉写法、又不把内存吃穿的方案。很多同学对 yield 的印象停留在"面试题",本文从执行模型讲起,用三个真实场景——大文件逐行读取、流式消费数据库结果集、无限序列与游标分页——把 PHP 内存优化 落到可以直接复制的代码上,最后列出七个新手必踩的坑。

一、先算一笔内存账

PHP 里最顺手的读文件方式是 file() 或 file_get_contents(),它们会把整个文件一次性读进内存变成一个数组或字符串。听起来没什么,直到文件变成几百兆:一个 512MB 的日志,file() 之后由于每行都变成一个独立的 zval 结构(字符串本体 + 数组 bucket + 哈希槽),实际内存占用往往是文件体积的 4~8 倍。

php bad.php
<?php
// 反面教材:512MB 日志这样读,8G 内存的机器也会直接 OOM
$lines = file('/var/log/nginx/access.log');

foreach ($lines as $line) {
    if (str_contains($line, ' 500 ')) {
        echo $line;
    }
}

echo memory_get_peak_usage(true) / 1024 / 1024, " MB\n";

在一台 2 核 4G 的测试机上(PHP 8.2 CLI,日志 512MB、约 320 万行),两种写法的量级差异如下。具体数字会随 PHP 版本、行长度、JIT 配置浮动,但量级关系是稳定的:

读取方式峰值内存首次出结果耗时是否会 OOM
file() 全量读入约 2.4 GB需读完全文件4G 机器直接崩
fopen + fgets 循环约 2 MB毫秒级不会
Generator 封装 fgets约 2 MB毫秒级不会

有意思的是,第三行和第二行内存几乎一样。那生成器的价值在哪里?答案是可组合性:它把"怎么产生数据"和"怎么消费数据"彻底解耦,让你能像搭积木一样把过滤、转换、分批串起来,而中间不产生任何临时数组。这才是它值得单独学一遍的理由。

二、yield 到底是什么

理解生成器只需要抓住一句话:函数体里有 yield,这个函数就变成了一个"可以暂停和恢复"的状态机。调用它不会执行函数体,只返回一个 Generator 对象;每次 foreach 要下一个值时,PHP 才把执行指针推进到下一个 yield,把值交出来,然后把整个局部变量表原封不动地冻结在那里。

php demo.php
<?php
function countdown(int $from): Generator
{
    echo "开始执行\n";
    while ($from > 0) {
        echo "准备交出 {$from}\n";
        yield $from;          // 暂停点:值交出去,函数冻结在这里
        $from--;
    }
    echo "循环结束\n";
}

$gen = countdown(3);          // 注意:此时什么都没打印
echo "拿到 Generator 了\n";

foreach ($gen as $n) {
    echo "消费 {$n}\n";
}
// 输出顺序:拿到 Generator 了 → 开始执行 → 准备交出 3 → 消费 3
//           → 准备交出 2 → 消费 2 → ... → 循环结束

这个"暂停—恢复"模型带来三个直接后果,理解它们能避开后面大部分坑:

  • 生成器是惰性的,不消费就一个字节都不算,所以它天然适合包装"昂贵的第一步"。
  • 生成器只能被遍历一次,因为它内部只是一条执行到一半的调用栈,没法倒带。
  • 它不是数组,count()、array_map()、json_encode() 这些面向数组的函数都用不了。

三、实战一:流式读大文件

把 fopen 循环包成生成器,是生成器最高频的用法。注意 finally 里的 fclose——即使调用方中途 break 掉循环、或者消费过程中抛了异常,只要生成器对象被销毁,finally 就会执行,句柄不会泄漏。

php file_reader.php
<?php

/**
 * 逐行读取大文件,恒定内存占用
 */
function readLines(string $path): Generator
{
    $handle = fopen($path, 'rb');
    if ($handle === false) {
        throw new RuntimeException("无法打开文件:{$path}");
    }

    try {
        while (($line = fgets($handle)) !== false) {
            yield rtrim($line, "\r\n");
        }
    } finally {
        fclose($handle);   // 提前 break 也会走到这里
    }
}

// 消费端:只关心"我要什么",不关心"数据从哪来"
$errors = 0;
foreach (readLines('/var/log/nginx/access.log') as $line) {
    if (str_contains($line, ' 500 ')) {
        $errors++;
    }
}
echo "5xx 请求数:{$errors}\n";
💡 小技巧:如果文件是标准 CSV,别自己 explode(','),用 fgetcsv($handle) 代替 fgets 即可——它同样支持流式,还能正确处理引号包裹的字段和字段内逗号。

四、实战二:流式消费数据库结果集

导出报表时最容易翻车的地方不是文件,而是 PDO。PDO 默认是"缓冲查询"(buffered query),fetchAll() 会把整个结果集拉到 PHP 内存里;百万行数据在 fetchAll() 面前和 file() 一样脆弱。正确姿势是关掉缓冲,再用生成器包一层,让"取一批、处理一批、丢掉一批"自然发生。

php db_stream.php
<?php

function streamOrders(PDO $pdo, int $batch = 1000): Generator
{
    // 关键一:关闭缓冲查询,否则内存照样爆
    $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

    $stmt = $pdo->query('SELECT id, user_id, amount, created_at FROM orders');

    try {
        while (($row = $stmt->fetch(PDO::FETCH_ASSOC)) !== false) {
            yield $row;
        }
    } finally {
        $stmt->closeCursor();   // 释放连接,避免后续 SQL 报 2014
    }
}

$handle = fopen('/tmp/orders.csv', 'wb');
fputcsv($handle, ['id', 'user_id', 'amount', 'created_at']);

foreach (streamOrders($pdo) as $row) {
    fputcsv($handle, $row);
}

fclose($handle);
⚠️
未缓冲查询的两个副作用
关闭缓冲后,同一个连接上在有未读完的结果集时不能再发新 SQL,否则报 Cannot execute queries while other unbuffered queries are active。要么在 finally 里 closeCursor(),要么另开一个连接专门跑流式查询。

五、实战三:无限序列与游标分页

生成器的另一个高光场景是"看起来无穷"的序列。用 while (true) 写死循环不会卡死,因为每次 yield 都会把控制权交回调用方,什么时候停由消费端决定。

php cursor.php
<?php

// 场景 A:无限斐波那契,取前 10 个就停
function fibonacci(): Generator
{
    [$a, $b] = [0, 1];
    while (true) {
        yield $a;
        [$a, $b] = [$b, $a + $b];
    }
}

$nums = [];
foreach (fibonacci() as $n) {
    if ($n > 100) {
        break;             // 消费端喊停,生成器随之销毁
    }
    $nums[] = $n;
}

// 场景 B:游标分页拉全量数据,对调用方伪装成"一个长列表"
function allUsers(PDO $pdo, int $pageSize = 500): Generator
{
    $lastId = 0;
    while (true) {
        $stmt = $pdo->prepare(
            'SELECT id, name FROM users WHERE id > :last ORDER BY id LIMIT :limit'
        );
        $stmt->bindValue(':last', $lastId, PDO::PARAM_INT);
        $stmt->bindValue(':limit', $pageSize, PDO::PARAM_INT);
        $stmt->execute();

        $rows = $stmt->fetchAll(PDO::FETCH_ASSOC);
        if ($rows === []) {
            return;        // 生成器里 return 即终止迭代
        }

        foreach ($rows as $row) {
            $lastId = $row['id'];
            yield $row;
        }
    }
}

场景 B 值得多说一句:用 WHERE id > :last ORDER BY id LIMIT n 这种游标分页,而不是 LIMIT offset, n。深翻页时 OFFSET 900000 要求 MySQL 先扫过并丢弃前 90 万行,越翻越慢;游标分页每一页都走主键索引,耗时基本恒定。

六、生成器、迭代器、数组怎么选

维度数组Generator自定义 Iterator
内存占用全量常驻单个元素单个元素
能否重复遍历可以不可以取决于 rewind() 实现
能否 count()可以不可以可实现 Countable
书写成本最低低高(要实现 5 个方法)
适合场景小数据、需随机访问大数据顺序流需复用的复杂迭代逻辑

经验规则:数据量能在几 MB 以内、需要多次遍历或随机下标访问,就用数组;一旦数据来自文件、网络或数据库这类"只能顺序往下读"的源,并且量级不确定,就用生成器。自定义 Iterator 现在很少需要手写,除非你要把它做成一个能被多处复用的类。

七、七个必踩的坑

1. 试图 rewind() 或二次遍历

生成器对象一旦开始迭代就不能倒带,第二次 foreach 会直接抛 Exception: Cannot rewind a generator that was already run。需要多次使用就每次重新调用函数,而不是复用同一个变量。

2. 把生成器当数组传给内置函数

array_map()、sort()、array_slice() 都不接受生成器。需要转换时用 iterator_to_array($gen),但要清楚这一步会把全部数据拉回内存——好不容易省下的内存又还回去了。真正的做法是改用 foreach 手动处理。

3. 在 yield 后面做"看起来没执行"的副作用

因为惰性求值,函数体在第一次取值之前不会执行。如果里面有 fopen、$pdo->query() 这类"应该先失败就早失败"的操作,错误会被推迟到消费时才暴露。排查问题时用 iterator_to_array() 或手动 current() 触发一次,就能看到真实报错。

4. 忘记 finally 释放资源

生成器被 break 或异常打断时不会执行完剩余代码,唯一的兜底机会是 finally。文件句柄、数据库游标、临时锁都应该放在 finally 里释放,否则长驻进程(队列 worker)里会慢慢泄漏。

5. 用 yield 传引用

function &gen() 配合 yield 的引用语义非常绕,容易产生意料之外的副作用。需要"边遍历边改原数组"时,老老实实用 foreach ($arr as $k => &$v) 更清晰。

6. 序列化或跨请求缓存生成器

生成器内部是执行栈,serialize() 会直接报错。要把"处理到哪了"持久化,应该自己记录游标(如上面例子里的 $lastId),下次重新构造生成器。

7. 混淆 yield 的值和 return 的值

生成器里的 return 不返回值给 foreach,它只是终止迭代;那个值要靠 $gen->getReturn() 取,而且必须在迭代结束后才能取。想做"最后一个元素特殊处理",用 return 传值很容易踩空。

ℹ️
顺带一提:yield from
yield from $other 可以把另一个数组或生成器"摊平"进当前生成器,且性能优于手动 foreach 转发。递归遍历目录树时特别顺手:yield from scanDir($sub)。

八、什么时候不该用生成器

生成器不是银弹。以下三种情况用数组反而更好:数据量小(几百条以内,省下的内存毫无意义)、需要对同一份数据反复遍历(比如先算总数再逐条渲染)、以及需要随机访问或排序(生成器没法 sort)。另外生成器会略微增加调试难度,栈回溯里看到的是 Generator->current() 而不是业务函数名,这在高并发排障时是真实成本。

总结

PHP 生成器 的本质是把"一次性算完"改成"按需算一个",用一条冻结的执行栈换来恒定的内存占用。它的正确用法不是"替代数组",而是给所有"只能顺序往下读"的数据源套一层统一的、可组合的消费接口:文件、数据库游标、socket 流、API 分页,在消费端看来都是同一个 foreach。配套记住三件事——只遍历一次、用 finally 收尾、需要复用就重新构造——你就能在百万级数据面前把内存曲线压成一条直线。

能流式处理的,就不要一次性装进内存。
—— 处理大数据的第一原则

相关阅读