The War Against Slop and an Emerging Weapon to Fight it: Formal Verification

媒体报道 Latent Space 原文语言:英文

随着AI生成代码的普及,避免低质量代码(slop)成为软件工程师的日常关注点。形式化验证系统结合数学证明、逻辑和诸如Lean等编程语言,正成为打击代码缺陷、提升系统安全性与规模化智能的重要工具。

全文

← 阅览室 Latent Space

对抗垃圾内容的战争与新兴的应对武器:形式化验证

传统上,用数学方法证明软件正确性需要专门的工作。现在,AI 和 Lean 正帮助实现这一过程的自动化。

理查德·麦克马纳斯 (Richard MacManus)

11月20日 · 阅读需时6分钟

2026年,AI 行业年度词汇一直是“垃圾内容(slop)”——指的是大型语言模型产生的低质量输出。鉴于现在有如此多的代码是由 AI 生成的,避免垃圾内容已成为软件工程师每天都要关心的问题。那么该怎么做呢?方法之一是使用形式化验证系统,该系统利用数学证明和逻辑来验证软件或硬件的正确性。

随着 AI 在解决数学问题方面能力的不断增强,现在有许多 AI 公司提供形式化验证系统。其中包括 Harmonic、Theorem、Axiom Math,以及一个名为 &Truth(读作“and truth”)的新进入者。在本文中,我们将探讨这些公司所采用的一些方法。

形式化验证今天在软件和 AI 中的应用

为了更好地了解形式化验证系统的格局,我们采访了该领域的领军人物之一:Clark Barrett,&Truth 的联合创始人兼联席 CEO。他同时也是斯坦福大学计算机科学 Corbel 研究教授,并且是 cvc5 的共同创造者,cvc5 是形式化验证中广泛使用的流行自动推理引擎。

无需陷入过多的技术细节,cvc5 被称为一种针对可满足性模理论(SMT)的“求解器(solver)”,Barrett 表示它在亚马逊等公司中得到了广泛应用。例如,cvc5 被用于亚马逊的智能体开发环境 Kiro 中的规约分析和测试生成。

Barrett 告诉我们:“看到我的工具从实验室里的一个好点子,变成现在在亚马逊的生产流水线中每天被调用数十亿次的 cvc5,这是一件很有趣的事。”

Via a 2022 paper about cvc5 co-authored by Clark Barrett.
Via a 2022 paper about cvc5 co-authored by Clark Barrett.

通过 Clark Barrett 参与合著的一篇关于 cvc5 的 2022 年论文。

当 AI 编码智能体公司谈论“验证”他们的工作时,通常意味着智能体运行测试、批判自己的输出,或者让另一个 AI 模型对其进行评判。因此我问 Barrett,这距离真正的验证还有多大差距?

他回答道:“主要的区别其实就在于,你如何知道什么时候算完成了。所以,如果你在进行测试、打补丁、扫描——使用所有这些现有的工具——它们其实相当不错。我是说,它们能发现大量问题。它们会提出这些问题。但你永远无法完全确定,我是不是把所有(问题)都找到了,还是说我的工具找不到的地方还潜藏着另一个?”

&Atlas, the first tool of &Truth; it’s “a map of the world’s open-source code, starting with code written in the C programming language.”
&Atlas, the first tool of &Truth; it’s “a map of the world’s open-source code, starting with code written in the C programming language.”

&Truth 的第一个工具 &Atlas;它是“世界开源代码的地图,从用 C 编程语言编写的代码开始。”

Lean 在形式化验证中的作用

Lean 是一个开源的编程语言和证明助手,&Truth 正是在此基础之上构建的。该公司将 AI 与自动推理技术结合起来,以构建 Lean 可以检查的证明。

Lean 是前沿模型用来解决各种极其困难的数学问题的语言。例如,就在本周,GPT-6.2 Astra 生成了 Vals 认为的“对斯莫克图诺维奇间隙定理的第一个 Lean 证明”。Vals 还补充说,Anthropic 也曾使用 Lean 来形式化费马大定理,这是一个包含 1300 万行代码的项目。

最新的重大数学新闻是一则报道,称 Anthropic 数学家 Levent Alpöge 声称他使用 Claude 证明了存在了 167 年的黎曼猜想——并且他在 Lean 中发布了该证明。

Example of Lean code; via Lean project website
Example of Lean code; via Lean project website

Lean 代码示例;通过 Lean 项目网站

&Truth 正在 Lean 框架之上构建它所谓的“验证机器”,其宏伟目标是阅读“任何语言的”代码,证明它是否满足精确陈述的需求,并使人类无需理解每一行代码就能信任它。

Barrett 解释说:“Lean 所做的一切,就是检查你是否没有犯错。因此,你可以把它想象成一个非常复杂的数学检查器。”

Latent Space 的读者都是交付智能体、模型和基础设施的专业人士。欢迎垂询赞助本栏目。

business@latent.space →

这也对模型训练产生了影响。Axiom Math 使用形式化验证为其数学推理系统的训练提供正确性反馈,通过证明尝试来帮助改进未来的模型。

Axiom CEO Carina Hong 在 6 月份接受 Latent Space 采访时指出,形式化验证——以及 Lean 所赋能的技术——不仅仅是一种防御措施。

“形式验证,或称已验证的 AI,对我们而言,不仅仅是处理或剔除低质量、幻觉和错误。它是关于扩展卓越。它是关于超级智能。”

播放视频

在 YouTube 上打开视频 ↗

Axiom 开发了 AxiomProver,这是一种生成 Lean 证明的 AI 系统,以及 AXLE,它是用于探索、验证和操作这些证明的工具包。

Harmonic 的 Aristotle,一款“自动定理证明器”,在其产品中大量使用 Lean。公司在其网站上表示:“在 Aristotle 中,AI 编写证明,Lean 检查每一步,因此结果永远不会依赖于 AI 的正确性。”

Harmonic’s workflow
Harmonic’s workflow

Harmonic 的工作流程

网络安全与 LLM 扩展的形式验证

鉴于当今对网络安全的高度偏执——有人甚至会说在通往 AGI 的日子里——形式验证系统似乎比以往任何时候都更为必要。Barrett 也确认网络安全是 &Truth 的关键关注点。

“我们技术的一个非常强大的用例是遍历全球所有的 C 代码,无论是开源还是闭源,确保其内存安全。如果不安全,我们可以指出:这里的代码有问题,需要修复以确保安全。”

安全也是 Theorem(&Truth 的竞争对手)关注的重点。Theorem 在其主页上声明:“验证是唯一在对手规模化时仍然有效的防御。”

Theorem’s proof-efficiency eval: “KB of machine code verified per hour on our proof-efficiency eval, by model release date, with 95% intervals.”
Theorem’s proof-efficiency eval: “KB of machine code verified per hour on our proof-efficiency eval, by model release date, with 95% intervals.”

Theorem 的证明效率评估:“在我们的证明效率评估中,每小时验证的机器码 KB 数量(按模型发布日期计),并给出 95% 区间。”

Theorem 还与 Anthropic 在此议题上合作,发布了一篇题为《LLM 正在使大规模形式软件验证成为可能》的博客文章。

文章中更令人鼓舞的一个点是,尽管形式验证目前代币消耗大,但其代币效率正逐步提升。在 36 项小型验证任务中,Anthropic 报告称 Opus 5.5 在使用约比 Opus 5 少 40% 的代币的情况下达到了 50% 的解题率。随着更多模型在“长验证任务”上进行训练,这一趋势预计会继续。

Theorem 与 Anthropic 将“LLM 扩展的形式验证”描述为一种有前景的方法,可在先前不可行的规模上提供安全保证。

Anthropic diagram: “from code to a machine-checked guarantee”; in this case using Rocq rather than Lean.
Anthropic diagram: “from code to a machine-checked guarantee”; in this case using Rocq rather than Lean.

Anthropic 示意图:“从代码到机器检查的保证”;在此案例中使用的是 Rocq 而非 Lean。

开发者的“veri-coding”体验

最后,形式验证如何融入开发者的工作流?在其网站上,&Truth 表示开发者将从 vibe-coding 转向“veri-coding”——即验证层成为工作流的一部分。

“如果你的验证机器已连接到你的代理,你仍然可以说,‘嘿,我想让你构建这个’,Barrett 说。‘也许需要稍微花点功夫与代理明确你想构建的规格。但随后代理可以深入底层,与形式[验证]工具协作,基本上你会看到几乎没有区别,只是你的代码第一次就能运行成功。’

因此,开发者的时间将更多用于编写和审查规格,而不是编写或审查代码。

验证所有结果

在我完成本文时,我看到 Cognition 开发者关系 Nader Dabit 的这条推文:

无论“结果工程”这个词是否会流行,他对当前编码状态的洞察是有道理的。当你只需告诉你的代理团队你想要什么,让他们去构建时,你(人类开发者)需要一种方式来检查代理交付的正确性。

如果像 &Truth、Harmonic、Theorem 和 Axiom Math 这样的公司如愿以偿,形式验证可能会成为检查这些结果的日益实用的手段。

正文为 AI 译文。

参考来源

← 返回每日AI报告