Google Mac 版 Gemini 应用新增计算机使用功能

媒体报道 SiliconANGLE AI 原文语言:英文

Google 为其 Mac 端的 Gemini 应用推出了计算机使用(Computer Use)功能,允许其直接与用户本地文件、桌面应用和网页进行交互。该功能目前面向美国用户的 Google AI 订阅者推出。

全文

Google LLC 今日发布了 Gemini 的 Mac 客户端新版本,可与用户电脑上的其他应用交互。

该功能在美国同步上线。使用需订阅 Google AI,订阅后消费者的 Google 账户将获得更丰富的人工智能工具组合。此套餐还包括额外的存储空间和其他若干功能。

用户可以在提示中加入指令 “@Computer use” 来指示 Gemini 启动本地应用。例如,设计师可以上传一张车辆草图,并让 AI 助手将其转化为三维动画。Gemini 会找到完成任务所需的本地应用,制定项目计划并一步步执行。

助手支持包含数十个操作的任务。此外,消费者还能使用新完成的 Gemini 工作流的输出启动后续项目。用户可以让助手在设计工具中生成视觉资产,然后再用 Visual Studio Code 将其转化为小型应用。

Gemini 不仅能与本地应用交互,还能与网络服务对接。这意味着它可以将网页数据加载到用户机器上运行的程序中,也可以将数据反向传输或在云服务之间移动。

AI 在后台窗口中执行工作。因此,用户无需在助手运行时暂停自己的工作。用户可以通过 Mac 客户端聊天窗口内置的预览窗格实时跟踪 Gemini 工作流。此外,Google 还加入了在任务进行中向 Gemini 提供反馈的控制功能。

“隐私和安全已内置:您可以选择 Gemini 能访问的应用,实时观看每一步操作,随时暂停,并在关键动作发生前批准,”Google Gemini 应用组产品经理 Michael Friedman 在博客文章中写道。

Meta Platforms Inc. 最近推出的 AI 代理 Muse 的 Mac 版也能与本地应用和数据交互。此外,基于云的虚拟机使其即使在用户电脑离线时也能执行任务。OpenAI Group PBC 的竞争服务 Dots 提供了类似的功能。

Google 未来可能会寻求匹配竞争对手的基于云的工作流托管功能。公司还可以以其他方式扩展 Gemini。值得注意的是,它可能将 Gemini 的计算使用模式移植到其他操作系统,并为企业用户添加功能。OpenAI 的 Dots 已经包含了用于自动化业务工作流(如采购)的功能。

图片:Google

正文为 AI 译文。

参考来源

← 返回每日AI报告