MIT News AI ↗ · 2026-11-21 05:00 · UTC+8
Q&A: Enabling more human-like interactions and understanding in multimodal foundation models
媒体报道 MIT News AI 原文语言:英文
MIT-IBM计算研究实验室的高级研究科学家Jim Glass讨论了他们的团队如何将感知与语言连接起来,并解决当前多模态基础模型在跨模态理解与定位上的局限性。他们通过开发无需大量标注数据的创新基准和技术,致力于提升模型的真实理解能力。
全文
面包屑
MIT News
问答:赋能多模态基础模型,实现更具人性化的交互与理解
问答:赋能多模态基础模型,实现更具人性化的交互与理解
资深研究科学家 Jim Glass 探讨了他领导的 MIT-IBM 计算研究实验室合作项目如何将感知与语言联系起来,并解决当前模型的不足。
Lauren Hinkel | MIT-IBM 计算研究实验室
出版日期:
2026年11月20日
媒体垂询
媒体联系人:
Lauren
Hinkel
电子邮件:
hinkell@mit.edu
MIT-IBM Watson AI Lab
关闭
图片说明:
Jim Glass 的 MIT-IBM 计算研究实验室在基础模型中将文本、图像、视频和音频连接起来。
鸣谢:
图片:AdobeStock
人类通过感官信息体验世界并与之交互。这意味着学习鸟鸣声与“知更鸟”一词之间的对应关系,或者能够在人群中视觉识别并找到你的朋友“Sarah”。在许多情况下,人们能够利用其潜在的“多模态”知识——涵盖音频、视频、文本或口语等多种数据类型的信息——来执行这些任务,而无需大量甚至有时完全不需要示例。
人工智能的多模态基础模型正日益获得模仿这一能力的功能。然而,它们表面上的多模态流利度往往掩盖了其实际理解能力。由 MIT 计算机科学与人工智能实验室资深研究科学家 Jim Glass 共同领导的 MIT-IBM 计算研究实验室团队一直在调查最先进多模态模型的关键缺陷,并开发基准和数据高效的方法,以在监督有限的情况下克服这些性能差距。他在接下来的采访中谈到了这项工作。
问:你们这个项目的目标是什么?为什么你们会选择解决 AI 模型的弱点,而不是盲目扩大模型规模?
答:这个项目已经进行了多年,大致由同一支由 MIT-IBM 语音和视觉专家组成的团队负责。我们希望探索感知(你看到和听到的事物)与语言之间的关系,广义上讲:我们拥有所有这些吸收的知识和语言技能,它们以大型语言模型形式存在,是基于文本的,因此我们想知道如何在不使用大量标注训练数据的情况下将它们联系起来。有时模型已经见过某些现象,即它们内部某种事物的潜在表征,但可能由于随后的微调等原因,它消失了,因此,开发试图让这种能力重新显现的技术是一件很有用的事情。
当你研究这些公开可用的模型时,你会发现即使在大模型中也存在弱点,所以我认为尝试解决这些局限性很重要。如果你有无限的预算,你可以出去创建所需的标注,但能够尝试让这些模型更多地靠自己学习也是很好的。我们通过创建可用于评估的新颖基准,然后开发在这些基准上表现更好的技术,并让这些模型自主学习,从而做到了这一点。在我们的整个研究合作过程中——这非常类似于 MIT 和 IBM 之间紧密的合作——我们不断发布供人们使用的公共基准,这是一个持久的成果。
我认为核心主题是将多模态与语言模型结合,试图解决这些模型的缺点,并尝试开发不需要大量标注数据就能更好完成任务的技术。
问:你能跟我们讲讲这个项目是如何演变的吗?
B:当我们刚开始这个项目时,我们试图构建能够自动学习对应关系的模型,除了告诉机器“这段音频标题与这张图片相配”之外,什么都不多说,这有点像给正在学习语言的小孩子读图画书。我们只是向它展示这些匹配的示例,并向它展示不匹配的示例。它们可以学习到表示“灯塔”的声音序列对应于灯塔的图片,而完全不涉及任何文本。
从语音扩展到通用音频,接着我们开始研究视频而非静态图像。我们会训练模型,向它展示相匹配的视频序列与对应的音频流,以及不匹配的视频序列,并让它进行重建。我们还会对部分图像或音频进行掩码处理,让模型对其进行重建。模型会学习到强关联性;然后,在远远超越语音的层面上,例如,它会学习到鹦鹉听起来是什么样的,或者电吉他与木吉他的区别。
接着,当这些大型语言模型开始出现时——那是在早期阶段,在大公司这么做之前——我们开始学习音频与语言之间的对应关系。自那时起,这些大型多模态模型已经面世,我们开始研究这些模型的局限性是什么,并试图通过这些或多或少带监督的技术来改进它们。
问:你认为你近期工作的一些亮点是什么?
A:我们的 IPLoc 研究关注的是这样一个事实:诸如 GPT-4O 这样的先进模型,在给定少量样本示例的情况下,无法定位特定的对象。我们想出了一种技术,即通过化名替换来训练它。其中有一个例子,我们将“飞机”替换为“伊丽莎白”。这迫使模型不依赖以前学过的内容,而是更多地关注视觉上下文。
然后,我们有一篇关于音频的论文 OmniR1,研究的是音频大型语言模型,也就是能够聆听某些内容并对其进行讨论的模型。我们发现的一个令人不安的事情是,其中一些基准测试采用的是多选题形式。很多时候,这些模型并不是真的在听声音,而是通过查看答案来作弊。这段音频里是什么动物在吼叫——比如花栗鼠、狮子、短吻鳄、山雀之类的?它甚至没有真正关注音频,[而是]直接说:“哦,狮子。”人们这样做的一部分原因在于它易于评估,而如果你要求提供文本回答,你就得想办法评判它是否准确。你是让成本高昂且耗时的人工来评估,还是使用另一个可能也有自身问题的语言模型来充当裁判?解决这个问题的方法之一是在各种不同类型的基准测试上评估这些模型。
我们意识到,即使输入随机噪声,它们的表现依然相当不错,这表明它们只是在关注问题。因此,我们尝试开发一些方法,让它更多地关注音频并尽量减少这种行为。
问:在资源有限的情况下,你调整这些大型基础模型的方法是什么?你使用了哪些不需要大量标注数据的 AI 与算法相结合的方法?
A:如今,我们无法自己创建这些超大型基础模型。我们没有这样的资源,因此我们倾向于使用这些现有的模型并尝试调整它们,以弱监督的方式训练它们,采用那些不需要太多数据的方法,比如我们在测试时强化学习(test-time reinforcement learning)方面的工作。
我们的项目并非单一庞大的实体,也就是说我们并非都在做同一件事。它更像是百花齐放,因此我们没有某种特定的方式来处理事情。
问:在不久的将来,你认为你们 MIT-IBM 研究团队的多模态研究将如何演变?
A:多年来,我们大概发表了二十多篇重要的合作论文,在这一过程中,令我惊奇的是,机器能够在没有任何告知的情况下学习到这些对应关系。在我们做到这一点之前,没有人展示过机器能做到这一点。我们早期将音频与大型语言模型结合的一些工作也很有趣:看着模型谈论它听到的内容,然后与它对话。现在,我们开始把这视为理所当然,但在当时,看到这一幕觉得很有趣。
展望未来,在接下来的一年里,通过我们与 MIT-IBM 的合作,我们将稍微转换一下方向,更多地关注所谓的全双工口语对话系统。这些模型在说话的同时也在聆听,这更类似于人类的运作方式,这与我们迄今为止一直在做的联合视听工作有很大不同,当然,我们将继续推进这项工作。
现在,我们将重点关注语音方面。这些全双工模型突然变得很有趣,因为它们可以让你摆脱目前与这些模型对话时使用的僵硬轮流方式。最终,我认为它们的交互会更自然。
这些全双工模型才刚刚出现,公开可用的部分模型还不如大型语言模型。它们能够处理一些低层次的沟通技巧,但仍缺少一些东西,例如时间概念或知识深度。因此,我们正在努力解决这些问题。
这项研究是与MIT-IBM计算研究实验室的Rogerio Feris、Brian Kingsbury和IBM Research的Samuel Thomas,以及图宾根大学的Hilde Kuehne(MIT-IBM关联研究员)团队合作进行的。
分享此新闻文章:
X
打印
相关主题
访谈
工作人员
研究
机器学习
算法
人工智能
数据
计算机科学与技术
协作
计算机科学与人工智能实验室(CSAIL)
MIT-IBM计算研究实验室
MIT Schwarzman计算学院
正文为 AI 译文。