OpenAI ↗ · 2026-11-19 16:00 · UTC+8
OpenAI 的 Performance Factory 如何保持 ChatGPT 快速运行
媒体报道 OpenAI 原文语言:英文
OpenAI 推出了由 Codex 驱动的自动化系统 Performance Factory,用于在云端发现并修复性能回退问题。该系统在三个多月内追踪了 1,700 多次调查并找出了 600 多个根本原因,实现了从调查、修复到验证的全流程自动化,显著提升了工程效率。
全文
OpenAI
2026年11月19日
Engineering
OpenAI的Performance Factory如何保持ChatGPT的高速
我们的Codex驱动系统自动化发现并修复性能问题。
作者:Okay Zed 与 Cyrus Forbes,技术员工
代理式开发的惊人速度使传统的性能工程方法难以为继。为跟上步伐,我们构建了Performance Factory,一个利用Codex及我们模型全部能力、以空前速度发现并修复回归的自主系统。Performance Factory在云端运行,自动化调查和解决性能问题,使我们能够跟上路线图的宏大目标。
在Performance Factory中,工程师为重复任务定义工作流,并为执行这些任务的Codex代理编写指令。具体而言,回归工作流在性能警报触发时打开一个任务。代理调查慢速原因,将发现记录在任务中,并提出供工程师审阅的修复方案。部署后,另一个代理接手同一任务,检查性能是否已恢复到基线。从调查到编写修复再到验证缓解,这一首个工作流在Performance Factory中实现了回归修复的全流程自动化。在短短三个月多时间里,回归工作流跟踪了超过1700次调查,根因定位了600余例。相当于每天自动化调查17次。
在本文中,我们将分享Codex的使用是如何演变成如今的Performance Factory,演示我们的首个运行工作流,并分享在生产环境中构建和运行代理工作流的早期经验。
从手动调查到自动化工作流的路径
随着我们在更多性能工作中使用Codex,团队的工作方式出现了演进。我们希望其他服务团队在其他领域采用代理工作流时,能够借鉴我们的过程。

软件工作正从手工劳动演进为与机器合作的代理工厂。
1. Pre-Codex。Codex出现之前,工程师手动检查指标和日志,比较追踪,调试在线机器,并阅读代码以调查慢速问题。这项工作耗时且往往需要对服务有深入了解才能知道该查哪里,相关信号容易被遗漏。当我们反复遇到相同类型的问题——例如ChatGPT首个token延迟的回归——我们会构建高级工具,如CPU和内存分配分析器,以简化调查。随着时间推移,我们累计了30余种性能工具。
2. Codex as a partner。拥有Codex作为伙伴后,工程师可以询问“为什么变慢了?”并与Codex合作进行调查,即使是在不熟悉的系统中。Codex能够搜索大型代码库,找到相关指标和追踪,跨服务跟踪交互,并进行适当的分析,以拼凑出发生了什么。但工程师仍需引导过程,决定使用哪些性能工具以及如何指导调查。更困难的调查对更多人来说变得更易调试,所需的专业知识和时间也更少。
3. Reusable skills。为了进一步自动化,我们将性能团队的调查流程封装为共享技能perf‑forensics。它告诉Codex有哪些工具可用、何时使用以及如何处理慢速问题,使Codex能够从多个角度尝试解决问题:
找出慢速开始的时间
识别受影响的请求
调查部署或配置更改是否能解释该现象
我们使用基于过去回归的评估(eval)测试并完善了perf‑forensics技能。针对我们关注的回归类型(例如ChatGPT延迟和可用性下降),现在只需向Codex发送一个警报,即可在一次运行中得到诊断,无需逐步引导。
4. The human proxy。随着我们添加并完善与性能相关的Codex技能,如perf‑forensics,我们开始感觉自己像是警报与Codex之间的代理。警报触发后,工程师只需将其复制粘贴到带有相应技能的Codex中,然后将结果粘贴回Slack。
5. 自动化调查。接下来,我们将调查工作移至云端,以便警报能够自动启动 Codex 会话。Codex 对变慢的原因进行了调查,将其发现发布在 Slack 线程中,但自动化流程到该回复就结束了。工程师仍然必须进行诊断、开发修复程序,并检查其在部署后是否有效。随着警报的累积,甚至连弄清楚哪些性能退化需要关注,都意味着必须筛选 Slack 线程。
6. 工厂。我们构建了 Performance Factory,用于运行端到端的智能性能工程工作流。它会跟踪每个活动任务下一步需要什么,并在该步骤准备就绪时指派一个智能体。每个任务都保留其状态和发现,因此工作可以在智能体和工程师之间传递,并在代码审查或部署后恢复。对于性能退化问题,工作从调查警报开始,到验证生产环境中的恢复结束。我们可以将常见的优化转化为定期在我们的服务中运行的工作流。能够发现潜在优化的工作流可以在另一个工作流中打开一个任务来进行测试和实现。
Performance Factory 系统的四个部分
Performance Factory 由四个组件组成:带有可配置工作流的任务跟踪器、将就绪工作分配给智能体的调度循环、在云中运行 Codex 的 API,以及在发生某些更改(例如发布 GitHub 审查评论或完成部署)时唤醒智能体的订阅机制。

Performance Factory 由任务服务、调度循环、云端执行和订阅组成。
带有可配置工作流的任务服务
任务服务是工程师通过添加配置文件和供智能体遵循的、用 Markdown 编写的提示词来定义工作流的地方。配置列出了任务可以历经的状态、允许的转换以及需要工程师介入的步骤。独立的提示词则告诉智能体在每个步骤该做什么。
纯文本
1
code-change/
2
├── config.toml
3
└── work/
4
├── implementing.md
5
└── reviewing.md
一个代码变更任务包含一个配置文件,以及用于实现和审查的 Markdown 提示词。
每一项工作都变成工作流中的一个任务,并且所有工作流都在用户界面(UI)中可见。工程师可以查看哪些任务是打开的、跟踪进展,并与可能拥有更多上下文或能够协助下一步工作的队友共享任务。
分配工作的调度循环
调度循环会定期检查哪些任务已准备好进入下一步。它通过针对任务当前状态的指令启动 Codex 回合,来为每个任务分配一个智能体。智能体记录其在任务上的进展,并在完成该步骤后将其移动到下一个状态。
云端的 Codex
一旦任务被分配,智能体就需要一个地方来执行工作,并能够访问工程师会使用的相同工具。我们构建了一个内部 API,以编程方式在云端调用 Codex 回合。Codex 回合运行在我们网络内部的环境中,能够访问我们的代码仓库以及工程师使用的可观测性工具,例如指标、日志、追踪、CPU 性能剖析和内存快照。
智能体在服务身份下运行,因此我们可以对其权限进行范围限定,并查看哪些操作来自我们的性能智能体。将智能体的工作移至云端使我们能够并行运行工作,而无需依赖工程师打开笔记本电脑或手动管理各自的云开发机。
在更改发生时唤醒智能体的订阅机制
有些工作必须等待人员或部署;在此期间,智能体不必持续运行。当任务需要等待时,它可以订阅 GitHub 拉取请求上的事件(例如审查评论或失败的 CI 检查),以便在需要重新开始工作时得到通知。当传入事件与订阅匹配时,任务再次变为就绪状态,随后调度循环便可以指派智能体继续工作。
第一个工作流:从警报到恢复
查找、根源分析和解决性能退化是我们构建在 Performance Factory 内的第一个工作流。我们称之为 Regression Workflow。性能退化会经历几个阶段:需要调查、已找到根源、已提出修复方案以及已解决,因此我们构建了自动化工作流来反映并推动任务经历这些相同的阶段。
当配置的性能警报触发时,回归工作流会创建一个任务,由智能体认领并将其推进到这些阶段。任务将其状态和关键发现在任何单个智能体的上下文之外进行记录,以便其他智能体或工程师可以接手这项工作。工程师可以在 Slack 或回归工作流用户界面中跟进工作、添加上下文并审查建议的更改。修复部署后,智能体会检查性能是否已恢复到初始状态,然后才将任务标记为已解决。
Performance Factory 回归工作流
检测到回归。智能体找到原因并提出修复方案。工程师接手并决定发布内容。部署后,智能体被唤醒以检查恢复情况。性能仍然下降?回到调查阶段。检测到回归。检测到回归。
ZZ
DetectedSystem
Find root causeAgent
Propose fixAgent
Review & deployEngineer
Verify recoveryAgent
Resolved
Active stage: Detected
回归工作流的步骤包括寻找根本原因、提出修复方案、审查与部署以及验证恢复情况。
智能体寻找根本原因
寻找根本原因(或多个原因)是工作流中的第一个主要步骤。智能体首先弄清楚哪些指标恶化了、它们是从什么时候开始变化的,以及哪些服务请求受到了影响。perf-forensics 技能让 Codex 能够使用我们的性能工程师所使用的工具以及用于处理这些问题的操作手册。
当指标跨越阈值时会触发警报,但回归可能在几小时前就已经开始了。智能体会回溯数据,找出指标首次恶化的大致时间。然后它会对比多组请求:相似的请求确实变慢了,还是我们处理了更多原本就很慢的请求?这些发现指向不同的原因。
一旦知道了何时以及何处去查找,智能体就会检查部署和功能标志(feature flag)的变化,然后阅读相关的代码。它会检查更改何时真正影响到了受影响的请求,并使用日志或追踪来测试代码是否能解释所发生的情况。
对抗性审查增强了诊断的准确性
早期,智能体有时会在找到第一个看似合理的解释时就停下来,而其中一些诊断结果后来被证明是错误的。为了捕获这些错误,我们添加了对抗性审查:一个单独的 Codex session,尝试推翻提出的诊断。审查员会重新检查假设并测试反事实。如果某次发布导致了变慢,未暴露于该变化的相似请求是否保持健康?如果回滚了可疑的更改,受影响的指标是否恢复了?
在一次调查中,一个智能体将失败的 ChatGPT 对话追溯到图像下载错误,并标记已找到原因。Codex 审查员注意到,负责定位文件的内部服务在图像请求仍然失败时就已经恢复了。该诊断无法解释持续的失败,因此 AI 审查员重新开启了调查,并记录了仍需确立的事项。
我们将较大的工作拆分为专注的 Codex 轮次,并取得了成功。在对 100 个根本原因建议的手动审查中,我们将其中的 70% 评定为准确,30% 需要进一步完善或未完全确立因果关系。在回归工作流中,不同的轮次会调查回归、对诊断提出质疑并提出修复方案,以通过制衡机制提高准确率数字。
修复回归是最困难的部分
一旦诊断通过了对抗性审查,工作流就会要求 Codex 实施修复并打开一个拉取请求(PR)。工程师会审查 PR 并决定是否将其合并。我们在使这次交接尽可能简单方面做了大量工作。每个任务都有一个报告,其中包含自动生成的回归摘要、其影响、根本原因以及提出的修复方案。我们对这些摘要进行了调整,使其易于浏览,包括指标时间序列、CPU 火焰图和追踪,以帮助工程师快速理解发现并检查证据。工程师可以直接编辑 PR 或使用诊断来编写他们自己的修复程序。如果他们在 PR 上留下评论,工作流会唤醒智能体来处理这些评论。
回归的示例任务报告显示了关键细节、根本原因和提出的修复方案。
工程师部署修复方案后,工作流会唤醒一个代理,以检查性能是否已恢复到先前的基线。如果恢复了,代理会将任务标记为已解决。如果性能仅部分恢复,代理会解决最初的回归问题,并为可能具有不同原因的剩余减速打开一个新任务。如果没有改善,代理会记录发生的情况,并将回归问题发回以供调查。
确保修复方案正确比找出原因更难。例如,我们见过代理提出的更改比实际需要更复杂或引入了新问题的情况。与根本原因步骤类似,我们对每个提出的修复方案进行了对抗性审查,以检查它们是否解决了根本原因,并有助于发现漏洞或意外后果。一些修复方案还需要更高层面的架构决策。例如,添加缓存可能会提高性能,但会引入过期数据。像这样的更改可以从了解该服务并能够权衡利弊的工程师的指导中受益。
我们正在利用这些案例构建一个评估和改进循环。通过将代理提出的修复方案与工程师最终合并的更改进行比较,我们可以更好地了解提案的不足之处、构建评估并改进工作流。我们还在致力于使用综合性能测试,以便代理能够在请求工程师审查之前衡量提出的修复方案并对其进行修改。我们还在探索代理如何使用我们的其他代理审查工具来识别低风险更改,并最终在没有人工干预的情况下发布这些修复方案。
我们学到了什么
构建和运行“性能工厂”(Performance Factory)让我们对在生产环境中开发和运营代理工作流有了很多了解。以下是为构建自己的代理工作流的团队总结的一些经验教训。
保护工程师的注意力
Codex 调查的原始输出可能是一大堆难以解析的文字。弄清楚代理在声称什么并追踪图表以查看数据是否支持它需要付出努力。我们希望工程师将注意力花在决策上,而不是重建代理的工作上。
代理可以调查的回归问题比团队有时间阅读的要多。我们的第一个版本为工程师提供了一个充满调查结果的用户界面,但仍然需要有人决定哪些信息重要。一个回归问题也可能表现为跨警报、监视器和渠道的多个事件。现在,工作流将相关事件链接起来,按团队关心的指标对它们进行分组,并对它们的估计影响进行排名。工程师可以专注于添加上下文、权衡利弊以及决定发布什么。
评估对代理的更改
更新调查技能或升级模型可能会使代理在诊断某些情况时变得更好,而在诊断其他情况时变得更差,因此我们需要在更新它们之前测试它们的影响。我们分别测试两件事:1)代理调查得有多好,以及 2)它的摘要对工程师有多大用处。
评估调查
对于调查,我们会针对过去的生产事件进行回测。我们将这些事件转换为一组测试用例,以便在更改技能时重新运行。Codex 代理尝试调查并解决该事件,我们将代理的行为与实际的过去解决数据进行每个案例的比较。每个案例都从一个新的 Codex 调查员和原始信号开始,去掉了可能会泄露答案的细节。
历史测试需要小心处理。指标和追踪会过期,而在恢复后收集的证据可能会泄露原因。只有在我们了解调查员能看到什么证据时,测试才有用。代理可以在设定的限制内检查代码并查询生产遥测数据。它不能使用保存的记忆(来自早期调查的笔记)、阅读事件总结或查看先前运行的结果。我们还会在事后检查其记录,以查找可能破坏测试的信息。
我们对问题开始的时间、规模以及受影响的请求进行评分。我们还评估代理如何使用证据来对可能的原因进行排序并解释仍然不确定的内容。代理可能会弄对时间,但仍然怪错部署,因此我们对这些进行了单独评分。
评估代理到工程师的交接
我们使用保存的任务快照来评估任务摘要。这些是极佳的回测方式,因为摘要不依赖于会过期的外部指标或追踪。一个独立的评估员会检查对系统不熟悉的工程师是否能理解发生了什么以及为什么重要、是否有保留有用的图表,以及所提出的下一步行动是否有证据支持。
将重复出现的故障转化为自我修复
最后,我们的代理和它们所调查的服务一样,同样需要监控。损坏的性能分析器或缺失的权限可能会阻止代理验证导致变慢的原因。这些故障在最终报告中很难被发现,因此我们每天运行一个代理,检查最近运行中的消息和日志,以寻找工具故障和访问错误。
我们使用性能工厂(Performance Factory)进行自我修复,并修复此检查发现的问题。当同一个工具错误阻碍了多次调查时,代理会创建一个任务来修复它。如果原因明确,代理会提出修复方案,工程师随后审查该更改并决定是否合并。在合并此类更改后,我们还会使用评估(evals)来检查代理是否能够通过先前阻碍它们的步骤。
下一步:更广泛的应用、主动监控
回归工作流(Regression Workflow)只是代理工厂模式的一个实例,该模式使任务通过明确的状态进行流转。当有更多工作准备就绪时,代理会推进任务;独立的审查者会质疑结论;当下一个决定需要判断力时,工程师会介入。其他工作流可以使用相同的机制,但采用不同的状态、指令和事件。
从一个工作流到多个工作流。性能工厂可以在各个工作流之间协调代理,一个工作流中的代理可以为另一个工作流创建任务。
目前,我们的回归工作流在警报触发时启动。然而,我们正在研究更主动的方法,以便性能工厂在没有警报触发时也能发现减速和优化。我们希望代理利用我们已经收集的大量细粒度性能数据,来发现警报遗漏的回归或寻找优化方案。通过比较不同类型的数据(各版本间的CPU和内存配置文件批次、堆转储以及请求追踪),代理可能会注意到某个特定请求的CPU使用率小幅上升。然后,它可以在回归工作流中打开一个任务,追溯该上升的根源,实施修复,并打开一个PR供工程师审查。
对于我们已经知道要寻找什么的情况,我们正致力于将已知的信号编码到更多的性能工厂工作流中。例如,我们的服务合理调整大小(service rightsizing)技能有助于代理发现保留了多于服务所需副本数的自动扩缩容设置。当我们学会识别这样一种模式时,我们希望在所有服务中构建并定期运行针对该模式的工作流,在快速变化的环境中进行持续优化。借助性能工厂,工程师从一次性能变慢中学到的知识,可以塑造我们调查和修复下一次变慢的方式,甚至在几个月后不同的服务中也是如此。
下次当你使用ChatGPT并注意到运行变慢时,很有可能性能工厂已经在找出原因了。今天,瓶颈可能在于等待工程师审查并合并修复。我们已经在探索代理是否可以自己完成这一步。随着产品开发在Codex的推动下不断加速,性能系统需要变得越来越自主且能自我改进以跟上步伐。Codex已经帮我们更快地构建了ChatGPT。现在,它正在帮我们保持ChatGPT的高效运行。
2026
Codex
ChatGPT
作者
Okay Zed, Cyrus Forbes
致谢
特别感谢构建性能工厂的团队,以及我们的文章贡献者 Brendan Gregg、Pieter Hooimeijer、Nick Cooper 和 Louis Brandy。
正文为 AI 译文。