DeepMind 最近公布了其在人工智能领域的一项重大进展：SIMA（Scalable Instructable Multiworld Agent），这是一种能够在多种 3D 虚拟环境中根据自然语言指令执行任务的通用 AI 智能体。DeepMind 与多家游戏开发商合作，在不同的电子游戏中训练了 SIMA，这标志着智能体首次能够广泛理解游戏世界，并能够像人类一样，根据自然语言指令执行虚拟环境中的任务。

DeepMind 表示，这项工作的目标不再仅仅是在游戏中获得高分。对于 AI 系统来说，学会玩电子游戏本身已经是一个技术壮举，但能够在多种游戏设置中遵循指令并理解环境设计的 AI 智能体则更具现实意义。

他们进一步解释说，这项研究展示了如何通过语言界面将高级 AI 模型的功能转化为具有实用性、能够匹配现实世界的操作。

为了让 SIMA 适应多种环境，DeepMind 与八家游戏工作室合作，在九款不同的电子游戏上训练并测试了 SIMA。这些游戏包括 Hello Games 的《无人深空》和 Tuxedo Labs 的《Teardown》。每款游戏都为 SIMA 提供了一个新的交互世界，包括从简单的导航和菜单使用到复杂的资源开采、飞船驾驶和头盔制作等一系列技能。

DeepMind 强调，SIMA 是一种 AI 智能体，能够感知并理解各种环境，然后采取行动以实现用户通过自然语言提出的目标。SIMA 包括一个为精确图像 - 语言映射而设计的模型，以及一个视频模型，用于预测屏幕上接下来可能发生的事件。

重要的是，SIMA 不需要访问游戏的源代码或特定 API，它仅需要两项输入：屏幕上的图像和用户提供的简单自然语言指令。

SIMA 会使用键盘和鼠标输出来控制游戏内的核心角色完成指令执行。由于这套简单的界面组合与人类使用场景相同，因此 SIMA 能够与任何虚拟环境进行交互。当前版本的 SIMA 已经接受了 600 项基本技能评估，涵盖导航（例如「左转」）、对象交互（「爬梯子」）、和菜单使用（「打开地图」）等操作。经过训练，SIMA 约在 10 秒内即可完成简单任务。

通过这项研究，DeepMind 展示了 SIMA 的跨游戏泛化能力，即在多种游戏环境中接受训练的 SIMA 智能体，其性能明显优于只在单一游戏中训练的智能体。研究证明，接受过多种游戏训练的智能体在质量上要远超单一游戏训练出的智能体。在 DeepMind 的评估中，SIMA 智能体在一组九款 3D 游戏上接受了训练，其表现明显优于仅在各单独游戏上进行训练的所有其他专用智能体。

更重要的是，平均来看在八款游戏上进行训练的智能体，在余下一款游戏中的表现同仅在该游戏上训练的智能体几乎水平相当。而这种在全新环境下发挥作用的能力，也凸显出 SIMA 超越其训练环境的强大泛化能力。

目前的初步结果令他们感到欣喜，但 SIMA 还需要更多研究才能在已接触过还尚未接触过的游戏中达到人类玩家的水平。

DeepMind 也谈到，SIMA 的表现依赖于语言指导。在控制测试中，智能体在不接受任何语言训练或指令引导时，就会出现漫无目的、原地打转的情况。同时他们也评估了 SIMA 依照指令完成近 1500 个游戏内不同任务的能力，其中部分任务有人类玩家的协助。

DeepMind 表示，SIMA 的成功展示了通过电子游戏作为测试平台，AI 技术如何帮助人类解决实际问题的巨大潜力。他们希望通过进一步的研究，使 SIMA 能够理解更复杂的指令并执行更多高级任务，最终实现更具通用性和实用性的 AI 系统。

总的来说来说，SIMA 就像是一个能够听懂人类指令并在多个视频游戏世界中执行这些指令的超级游戏玩家。这项研究展示了 AI 技术在理解和执行复杂任务方面的巨大潜力。

从他们的介绍中，可以窥探，未来的 SIMA 一定会拥有以下“超能力了”。

首先它提高游戏 AI 的质量：通过使用类似 SIMA 的 AI 代理，游戏开发者可以创建出更加智能和适应性强的游戏 AI，这些 AI 能够更自然地与玩家互动，提供更具挑战性和多样性的游戏体验。这种 AI 能够根据自然语言指令执行复杂任务，可能会让游戏世界的 NPC（非玩家角色）行为更加真实和有趣。

其次，它能够加速游戏测试和开发：SIMA 展示了在多种游戏环境中遵循自然语言指令的能力，这意味着它可以被用作自动化测试工具，帮助开发者快速识别游戏中的问题或不足。自动化测试可以提高开发效率，减少重复性工作，使开发团队能够专注于创造性任务。

当然，SIMA 一定会促进游戏设计的创新：SIMA 的研究强调了 AI 和自然语言处理技术在游戏设计中的潜力。开发者可能会受到启发，探索新的游戏机制和故事叙述方法，其中玩家可以通过自然语言与游戏世界互动。这可能会开启全新的游戏类型，其中玩家与游戏世界的交互更加直观和富有沉浸感。

跨游戏学习和适应能力：SIMA 在多个游戏中的表现突出了 AI 的跨游戏学习能力，这对于开发多样化游戏内容的开发者来说是一个重要的里程碑。这种能力意味着 AI 可以在一个游戏中学到的技能和知识转移到另一个游戏中，为开发跨游戏平台或系列游戏提供了新的可能性。

“我永远不会忘记在 Dota 2017 年的比赛上，OpenAI 展示了一个能够挑战职业 Dota 玩家的 AI。Dota 是一个极其复杂和困难的游戏。这对我来说是一个令人大开眼界的时刻”。- 译

有人分享了OpenAI在Dota游戏中对抗职业玩家并取得胜利的例子，这被视为AI技术的一个重要进展。然而，也有批评声音指出，这些成就并不意味着AI已经能够完全理解或在未见过的游戏中表现得像人类那样。

例如，在Dota的例子中，为了让AI能够参与比赛，游戏的范围被大幅缩减，AI只需要理解10个英雄在两种特定的5人组合中的表现，而通常情况下，游戏中有100多个英雄可以以任何排列组合选择，某些游戏机制也被限制只对人类玩家使用，因为AI无法理解它们。这表明，尽管AI在某些受限环境中的表现令人印象深刻，但它们在泛化能力和处理完整游戏版本方面仍然存在巨大差距。

同时也有人持沮丧的观点，认为这对于大型多人在线角色扮演游戏（MMORPG）来说，无疑是一声丧钟。因为以后在这些游戏中都是机器人 AI。。

“我希望开发者能利用这项技术为NPC注入更多生命力。很多时候，我们被告知角色扮演游戏中的NPC将拥有自己的生活，独立于玩家做自己的事情等等，但这些承诺从未真正实现过任何值得注意的成果。然而，有了AI技术，我觉得我们可能正在接近这个目标。”-译

有的网友则表示非支持，SIMA 的出现或许可以给NPC赋予更多生命力的期待。然而，一些评论者对于这种技术进步是否真的能使游戏变得更有趣表示怀疑，担心过度追求NPC的真实性可能会导致不好的效应，或者增加游戏的摩擦，从而降低游戏体验的乐趣。尽管存在这样的担忧，也有人对未来持乐观态度，认为开发者将找到使用AI创造有趣游戏的方法。

从其他的讨论中还看到了，有些人觉得游戏并不需要过分追求现实主义才能变得更好，游戏是现实生活的一种简化或夸张，旨在提供良好的体验而非模仿现实。尽管存在挑战，但许多人相信，随着AI技术的进步，游戏开发者将能够创造出新类型的游戏，其中NPC的不可预测性和更复杂的行为将成为核心机制，从而为玩家提供全新的游戏体验。

还有些肯定者的评价，这位网友指出SIMA代理在接受了九款3D游戏集合的训练后，其表现显著超过了仅在单个游戏上训练的专门代理。更令人惊讶的是，即便是在未曾见过的游戏中，经过N-1游戏训练的代理也能达到与专门训练代理相近的水平。这一发现挑战了许多人的预期，即AI的成功往往被认为是因为训练集中包含了特定的数据，而忽视了算法本身的转移学习能力。

对于 SIMA 或者游戏未来，你有什么想说的？欢迎评论区留下你的建议。

参考链接：

https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/

https://news.ycombinator.com/item?id=39692387

 内容推荐

InfoQ 独家邀请了潞晨科技创始人兼董事长尤洋，从技术原理、复现路径和实际应用成本考量三方面深入解读 Sora 技术和应用可行性。本次技术解读共包含Sora 的技术原理和关键组成、快速复现和集成 Sora 的指南、成本效益和实际应用考量三个核心要点，帮助大家理解 Sora 的核心技术、快速实现和集成 Sora 到自己的项目中，并提供考虑成本效益和实际应用的指导。关注「AI前线」，回复「Sora解读」获取解读视频及文字资料。

今日荐文

身价7亿的周受资也没辙了？TikTok 弹窗1.7 亿用户强势反击，国会一分钟20个电话被打爆

苹果终于入局大模型了：300亿参数、MoE 架构，手机要迎来全面的大变革了？

OpenAI Sora发布时间定档，可能允许“裸体”内容出现

Midjourney控诉Stability AI偷作品还搞崩了服务器！曝光后Stability AI CEO 紧急回应

李彦宏“程序员将不再存在”言论被周鸿祎驳斥，网友怒怼：先把百度程序员都开除了！

你也「在看」吗？ 👇