AI 隐藏的能源税:超过 80% 的扩展流量只是在传输内存

媒体报道 SiliconANGLE AI 原文语言:英文

随着推理超越训练,内存瓶颈正成为 AI 基础设施中最昂贵的问题之一。

全文

UPDATED 09:57 EST / NOVEMBER 18 2026

AI

AI的隐藏能源税:扩展流量中超过80%只是在搬运内存

作者:Jonathan Anthony

随着推理逐渐取代训练,内存瓶颈正在成为AI基础设施中最昂贵的问题之一。GPU闲置等待数据,而高带宽内存(HBM)却固定在无法与其共享的处理器上。

光子学(Photonics)正在成为摆脱困境的一种途径。Marvell Technology Inc.一直将光学技术与光子内存相结合,以将内存延伸到芯片边缘之外。Marvell光子织物业务部高级副总裁兼总经理Preet Virk(图左)表示,这样带来的回报是提高了企业已经付费的数据中心的效率。

Virk表示:“在如今的数据中心里,我们还有很大的效率提升空间。当我说效率时,我指的是由于GPU利用率非常低而造成的计算能力(flops)浪费。”

Virk与Penguin Solutions Inc.高级产品开发副总裁Andy Mills(图右)在SC26大会期间,接受了SiliconANGLE Media旗下直播工作室theCUBE的独家直播采访,对话theCUBE Research的John Furrier和Amit Eyal Govrin。他们探讨了光子学和共享内存池如何缓解AI基础设施中的内存瓶颈。(* 披露见下方。)

共享内存池直击内存瓶颈

Mills解释说,Penguin的MemoryAI光子设备将HBM移到了距离GPU几十米远的独立机箱中,并通过Marvell的光子织物进行连接。每个设备包含16太字节的HBM和DDR5内存,多个机架上的服务器都可以共享这些内存。

Mills指出:“这里的挑战在于确保你的LLM不会忘记你10分钟前和它讨论过的内容。要做到这一点,你需要大量的内存和巨大的Token长度。”

光学技术也改变了能源计算方式。Virk表示,铜缆在机架内部仍然管用,但要跨越由数千个GPU组成的数据舱,则必须依靠光学技术。他指出,超过80%的扩展网络流量都是内存事务,而共享内存池意味着其中很大一部分数据根本不需要移动。

Virk说:“在数据移动中,内存事务是一个需要关注的重点。因此,与基于铜缆的数据移动相比,使用这种方案我们可以立即将数据移动的能耗降至四分之一(皮焦耳每比特)。”

智能体(Agents)推高了风险,其生成的Token请求远远超过了人类用户的数量。随着推理扩展到更多机架和站点,Mills认为共享内存池是解决内存瓶颈的切实可行的答案。

Mills表示:“如果说有什么不同的话,那就是分布式会促进共享,因为你不想重新计算。关于KV缓存的整个方案取得了巨大的成功,因为它阻止了对相同数据的重新计算。当你可以将这些数据在更广泛的基础上、跨越更多机架进行共享时,你的效率也会随之提高。”

以下是完整的视频采访,这是SiliconANGLE和theCUBE对SC26报道的一部分:

(* 披露:Penguin赞助了theCUBE的这一环节。Penguin和其他赞助商对theCUBE或SiliconANGLE上的内容均无编辑控制权。)

照片:SiliconANGLE

来自SiliconANGLE联合创始人John Furrier的信息:

通过参与theCUBE社区,支持我们保持内容开放和免费的使命。加入theCUBE的校友信任网络(Alumni Trust Network),技术领袖可以在这里建立联系、共享情报并创造机遇。

theCUBE视频拥有超过1500万观众,推动了围绕AI、云、网络安全等领域的对话

1.14万+ theCUBE校友 — 通过独特的可信网络,与11,400多名塑造未来的技术和商业领袖建立联系

您是AWS客户吗?通过我们的Marketplace门户页面和链接购买AWS服务,从财务上支持SiliconANGLE:https://siliconangle.com/aws-marketplace/

关于 SiliconANGLE Media

SiliconANGLE Media 是数字媒体创新领域的公认领导者,将突破性技术、战略洞察和实时受众参与融为一体。作为 SiliconANGLE、theCUBE Network、theCUBE Research、CUBE365、theCUBE AI 和 theCUBE SuperStudios 的母公司——其旗舰所在地位于硅谷和纽约证券交易所——SiliconANGLE Media 运营于媒体、技术和 AI 的交汇点。

SiliconANGLE Media 由科技行业远见卓识者 John Furrier 和 Dave Vellante 创立,构建了一个充满活力的行业领先数字媒体品牌生态系统,触达超过 1500 万精英科技专业人士。我们全新专有的 theCUBE AI Video Cloud 正在开创观众互动的新局面,它利用 theCUBEai.com 神经网络帮助科技公司做出数据驱动的决策,并保持在行业对话的最前沿。

正文为 AI 译文。

参考来源

← 返回每日AI报告