当你要处理一个 2GB 的 Nginx 访问日志,或者从数据库里导出百万行报表时,PHP 生成器(Generator)几乎是唯一能让你既保留"顺序遍历"这种直觉写法、又不把内存吃穿的方案。很多同学对 yield 的印象停留在"面试题",本文从执行模型讲起,用三个真实场景——大文件逐行读取、流式消费数据库结果集、无限序列与游标分页——把 PHP 内存优化 落到可以直接复制的代码上,最后列出七个新手必踩的坑。
一、先算一笔内存账
PHP 里最顺手的读文件方式是 file() 或 file_get_contents(),它们会把整个文件一次性读进内存变成一个数组或字符串。听起来没什么,直到文件变成几百兆:一个 512MB 的日志,file() 之后由于每行都变成一个独立的 zval 结构(字符串本体 + 数组 bucket + 哈希槽),实际内存占用往往是文件体积的 4~8 倍。
<?php
// 反面教材:512MB 日志这样读,8G 内存的机器也会直接 OOM
$lines = file('/var/log/nginx/access.log');
foreach ($lines as $line) {
if (str_contains($line, ' 500 ')) {
echo $line;
}
}
echo memory_get_peak_usage(true) / 1024 / 1024, " MB\n";
在一台 2 核 4G 的测试机上(PHP 8.2 CLI,日志 512MB、约 320 万行),两种写法的量级差异如下。具体数字会随 PHP 版本、行长度、JIT 配置浮动,但量级关系是稳定的:
| 读取方式 | 峰值内存 | 首次出结果耗时 | 是否会 OOM |
|---|---|---|---|
file() 全量读入 | 约 2.4 GB | 需读完全文件 | 4G 机器直接崩 |
fopen + fgets 循环 | 约 2 MB | 毫秒级 | 不会 |
Generator 封装 fgets | 约 2 MB | 毫秒级 | 不会 |
有意思的是,第三行和第二行内存几乎一样。那生成器的价值在哪里?答案是可组合性:它把"怎么产生数据"和"怎么消费数据"彻底解耦,让你能像搭积木一样把过滤、转换、分批串起来,而中间不产生任何临时数组。这才是它值得单独学一遍的理由。
二、yield 到底是什么
理解生成器只需要抓住一句话:函数体里有 yield,这个函数就变成了一个"可以暂停和恢复"的状态机。调用它不会执行函数体,只返回一个 Generator 对象;每次 foreach 要下一个值时,PHP 才把执行指针推进到下一个 yield,把值交出来,然后把整个局部变量表原封不动地冻结在那里。
<?php
function countdown(int $from): Generator
{
echo "开始执行\n";
while ($from > 0) {
echo "准备交出 {$from}\n";
yield $from; // 暂停点:值交出去,函数冻结在这里
$from--;
}
echo "循环结束\n";
}
$gen = countdown(3); // 注意:此时什么都没打印
echo "拿到 Generator 了\n";
foreach ($gen as $n) {
echo "消费 {$n}\n";
}
// 输出顺序:拿到 Generator 了 → 开始执行 → 准备交出 3 → 消费 3
// → 准备交出 2 → 消费 2 → ... → 循环结束
这个"暂停—恢复"模型带来三个直接后果,理解它们能避开后面大部分坑:
- 生成器是惰性的,不消费就一个字节都不算,所以它天然适合包装"昂贵的第一步"。
- 生成器只能被遍历一次,因为它内部只是一条执行到一半的调用栈,没法倒带。
- 它不是数组,
count()、array_map()、json_encode()这些面向数组的函数都用不了。
三、实战一:流式读大文件
把 fopen 循环包成生成器,是生成器最高频的用法。注意 finally 里的 fclose——即使调用方中途 break 掉循环、或者消费过程中抛了异常,只要生成器对象被销毁,finally 就会执行,句柄不会泄漏。
<?php
/**
* 逐行读取大文件,恒定内存占用
*/
function readLines(string $path): Generator
{
$handle = fopen($path, 'rb');
if ($handle === false) {
throw new RuntimeException("无法打开文件:{$path}");
}
try {
while (($line = fgets($handle)) !== false) {
yield rtrim($line, "\r\n");
}
} finally {
fclose($handle); // 提前 break 也会走到这里
}
}
// 消费端:只关心"我要什么",不关心"数据从哪来"
$errors = 0;
foreach (readLines('/var/log/nginx/access.log') as $line) {
if (str_contains($line, ' 500 ')) {
$errors++;
}
}
echo "5xx 请求数:{$errors}\n";
explode(','),用 fgetcsv($handle) 代替 fgets 即可——它同样支持流式,还能正确处理引号包裹的字段和字段内逗号。四、实战二:流式消费数据库结果集
导出报表时最容易翻车的地方不是文件,而是 PDO。PDO 默认是"缓冲查询"(buffered query),fetchAll() 会把整个结果集拉到 PHP 内存里;百万行数据在 fetchAll() 面前和 file() 一样脆弱。正确姿势是关掉缓冲,再用生成器包一层,让"取一批、处理一批、丢掉一批"自然发生。
<?php
function streamOrders(PDO $pdo, int $batch = 1000): Generator
{
// 关键一:关闭缓冲查询,否则内存照样爆
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$stmt = $pdo->query('SELECT id, user_id, amount, created_at FROM orders');
try {
while (($row = $stmt->fetch(PDO::FETCH_ASSOC)) !== false) {
yield $row;
}
} finally {
$stmt->closeCursor(); // 释放连接,避免后续 SQL 报 2014
}
}
$handle = fopen('/tmp/orders.csv', 'wb');
fputcsv($handle, ['id', 'user_id', 'amount', 'created_at']);
foreach (streamOrders($pdo) as $row) {
fputcsv($handle, $row);
}
fclose($handle);
Cannot execute queries while other unbuffered queries are active。要么在 finally 里 closeCursor(),要么另开一个连接专门跑流式查询。五、实战三:无限序列与游标分页
生成器的另一个高光场景是"看起来无穷"的序列。用 while (true) 写死循环不会卡死,因为每次 yield 都会把控制权交回调用方,什么时候停由消费端决定。
<?php
// 场景 A:无限斐波那契,取前 10 个就停
function fibonacci(): Generator
{
[$a, $b] = [0, 1];
while (true) {
yield $a;
[$a, $b] = [$b, $a + $b];
}
}
$nums = [];
foreach (fibonacci() as $n) {
if ($n > 100) {
break; // 消费端喊停,生成器随之销毁
}
$nums[] = $n;
}
// 场景 B:游标分页拉全量数据,对调用方伪装成"一个长列表"
function allUsers(PDO $pdo, int $pageSize = 500): Generator
{
$lastId = 0;
while (true) {
$stmt = $pdo->prepare(
'SELECT id, name FROM users WHERE id > :last ORDER BY id LIMIT :limit'
);
$stmt->bindValue(':last', $lastId, PDO::PARAM_INT);
$stmt->bindValue(':limit', $pageSize, PDO::PARAM_INT);
$stmt->execute();
$rows = $stmt->fetchAll(PDO::FETCH_ASSOC);
if ($rows === []) {
return; // 生成器里 return 即终止迭代
}
foreach ($rows as $row) {
$lastId = $row['id'];
yield $row;
}
}
}
场景 B 值得多说一句:用 WHERE id > :last ORDER BY id LIMIT n 这种游标分页,而不是 LIMIT offset, n。深翻页时 OFFSET 900000 要求 MySQL 先扫过并丢弃前 90 万行,越翻越慢;游标分页每一页都走主键索引,耗时基本恒定。
六、生成器、迭代器、数组怎么选
| 维度 | 数组 | Generator | 自定义 Iterator |
|---|---|---|---|
| 内存占用 | 全量常驻 | 单个元素 | 单个元素 |
| 能否重复遍历 | 可以 | 不可以 | 取决于 rewind() 实现 |
能否 count() | 可以 | 不可以 | 可实现 Countable |
| 书写成本 | 最低 | 低 | 高(要实现 5 个方法) |
| 适合场景 | 小数据、需随机访问 | 大数据顺序流 | 需复用的复杂迭代逻辑 |
经验规则:数据量能在几 MB 以内、需要多次遍历或随机下标访问,就用数组;一旦数据来自文件、网络或数据库这类"只能顺序往下读"的源,并且量级不确定,就用生成器。自定义 Iterator 现在很少需要手写,除非你要把它做成一个能被多处复用的类。
七、七个必踩的坑
1. 试图 rewind() 或二次遍历
生成器对象一旦开始迭代就不能倒带,第二次 foreach 会直接抛 Exception: Cannot rewind a generator that was already run。需要多次使用就每次重新调用函数,而不是复用同一个变量。
2. 把生成器当数组传给内置函数
array_map()、sort()、array_slice() 都不接受生成器。需要转换时用 iterator_to_array($gen),但要清楚这一步会把全部数据拉回内存——好不容易省下的内存又还回去了。真正的做法是改用 foreach 手动处理。
3. 在 yield 后面做"看起来没执行"的副作用
因为惰性求值,函数体在第一次取值之前不会执行。如果里面有 fopen、$pdo->query() 这类"应该先失败就早失败"的操作,错误会被推迟到消费时才暴露。排查问题时用 iterator_to_array() 或手动 current() 触发一次,就能看到真实报错。
4. 忘记 finally 释放资源
生成器被 break 或异常打断时不会执行完剩余代码,唯一的兜底机会是 finally。文件句柄、数据库游标、临时锁都应该放在 finally 里释放,否则长驻进程(队列 worker)里会慢慢泄漏。
5. 用 yield 传引用
function &gen() 配合 yield 的引用语义非常绕,容易产生意料之外的副作用。需要"边遍历边改原数组"时,老老实实用 foreach ($arr as $k => &$v) 更清晰。
6. 序列化或跨请求缓存生成器
生成器内部是执行栈,serialize() 会直接报错。要把"处理到哪了"持久化,应该自己记录游标(如上面例子里的 $lastId),下次重新构造生成器。
7. 混淆 yield 的值和 return 的值
生成器里的 return 不返回值给 foreach,它只是终止迭代;那个值要靠 $gen->getReturn() 取,而且必须在迭代结束后才能取。想做"最后一个元素特殊处理",用 return 传值很容易踩空。
yield from $other 可以把另一个数组或生成器"摊平"进当前生成器,且性能优于手动 foreach 转发。递归遍历目录树时特别顺手:yield from scanDir($sub)。八、什么时候不该用生成器
生成器不是银弹。以下三种情况用数组反而更好:数据量小(几百条以内,省下的内存毫无意义)、需要对同一份数据反复遍历(比如先算总数再逐条渲染)、以及需要随机访问或排序(生成器没法 sort)。另外生成器会略微增加调试难度,栈回溯里看到的是 Generator->current() 而不是业务函数名,这在高并发排障时是真实成本。
总结
PHP 生成器 的本质是把"一次性算完"改成"按需算一个",用一条冻结的执行栈换来恒定的内存占用。它的正确用法不是"替代数组",而是给所有"只能顺序往下读"的数据源套一层统一的、可组合的消费接口:文件、数据库游标、socket 流、API 分页,在消费端看来都是同一个 foreach。配套记住三件事——只遍历一次、用 finally 收尾、需要复用就重新构造——你就能在百万级数据面前把内存曲线压成一条直线。
能流式处理的,就不要一次性装进内存。
—— 处理大数据的第一原则
相关阅读
- PHP 学习路线图 2026:从入门到进阶的完整指南——本文属于其中「性能与工程化」阶段的知识点,建议先看路线图确定学习顺序。
- PHP 性能优化实战:OPcache、JIT 与常见瓶颈排查——生成器解决的是"内存峰值",OPcache 与 JIT 解决的是"CPU 耗时",两篇配合看才是完整的性能优化视角。
- PHP 数组函数全家桶:array_map/reduce/filter 高频用法实战——小数据量下用数组函数更简洁,先判断数据规模再决定是否上生成器。
- PHP 错误处理与异常机制全解析:try/catch、Error、自定义异常——生成器里的
finally释放资源,正是异常机制的一个实战落点。