TechCrunch AI ↗ · 2026-11-19 00:59 · UTC+8
Sam Altman警告AI而非人类掌控未来的风险
人物动态 TechCrunch AI 原文语言:英文
Sam Altman在纽约时报DealBook峰会上强调,人类必须保持对AI的控制,反对逐步将决策权交给AI,并指出需要新的安全监控手段。
全文
OpenAI联合创始人兼CEO Sam Altman认为,在AI技术对世界和每个人生活产生影响的问题上,人类应当始终掌控未来。这位AI高管周三在《纽约时报》DealBook峰会上发言时,提到了硅谷内部关于未来是否会出现向AI逐步移交权力的讨论——这意味着AI最终将成为各个主要行业和机构的决策权威。
“我们最近一直在讨论的一个问题是,硅谷有一种观点,虽然去反对它显得有些荒谬,但我们两个都坚信,人类需要保持对未来的控制。而现在越来越多的言论认为,这种向AI的逐步移交要么正在发生,要么就应该发生。我和他——我们两个——都认为这是一个糟糕的想法,”Altman说道。当时他和OpenAI联合创始人兼总裁Greg Brockman一同同台发言。
这种移交权力的理论源于这样一种观点:随着AI模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归自我改进”或RSI。这种观点认为,随着现有的AI技术构建出更新、更聪明的代际,它们最终将演变成人类无法再控制的超级智能。
Altman解释说,他和Brockman仅在如何最好地实现让人类保持控制这一目标,或者在这一过程中预计会面临什么样的挑战上存在分歧。不过,Altman认为这更像是在两个拥有相同宏观观点的人之间展开的辩论。
“关于如何真正防止[权力移交]发生——如何在面对各种压力以及其他公司可能采取的行动时,真正确保我们能以一种非常深远的方式让人们掌控未来,而不是发生这种意外或故意的移交——我认为我们在这点上意见是一致的,”Altman说。
Brockman补充说,随着模型的不断改进,对对齐、安全和保障的责任也在不断增加,这可能需要改变目前做事的方式。
“监控就是一个很好的例子,我认为我们将需要新的……技术,”他说。
如今,AI研究人员会监控模型的思维链,即AI在解决问题和执行任务时写下其思考过程。但在Brockman看来,对于目前正在构建的更先进的AI,这可能并不总是最佳的监控方式。
“随着模型变得越来越强大,它们可以在纯前向路径中完成更多工作,而无需实际写下这些思考过程,这意味着我们需要一种新的监控方法,”Brockman说。“我们需要提供这种方法,而且我认为在某些节点上,我们需要认真思考:随着能力达到特定点,思维链的可监控性会下降,”他接着说道,并补充说所有这些问题都是需要解决的技术问题。
在此前发生的一起OpenAI模型逃逸并黑客入侵AI模型代码库Hugging Face的事件之后,OpenAI曾承诺加强思维链监控。在周三的采访中Brockman指出,在这次黑客事件发生后,公司要求25%的生产工程师停止开发新功能,转而致力于保障AI技术的安全。
但尽管发生了备受瞩目的安全违规事件,他辩称,持续推进技术进步对于打击恶意行为者仍然至关重要。
“我认为,如果你审视一下世界上模型的整体能力水平,就会发现随之而来的网络攻击模型现在已经落入……各地威胁行为者的手中,因此防御者使用最具能力的模型来进行防御真的非常重要,”他说。
正文为 AI 译文。