AI 驱动游戏与多智能体世界

一份为构建多智能体世界游戏而整理的实地指南,汇集了定义这一领域的论文、开源框架和已发布的游戏作品。该领域源于 2023 年的两大支柱—— 斯坦福的生成式智能体(“Smallville”)和 Google DeepMind 的 Concordia——再加上 Altera 的 1000 个智能体 Project Sid 等产业级扩展,如今已通过 NVIDIA ACE 和 Latitude 的 Voyage 等平台进入商业游戏。务实的课程路径:从 a16z 的开源 AI Town 或 Concordia 入手,让 3–8 个智能体运行 Park 的记忆–反思–规划循环, 并通过 Ollama 在本地模型上运行一切,让 API 账单保持在 0 美元。

25斯坦福 Smallville 中的智能体数量——经典的可信智能体小镇(2023)
1,000+Altera 的 Project Sid 中的智能体数量,在 Minecraft 中形成角色、经济和宗教(2024)
1MCAMEL-AI 的 OASIS 社交媒体模拟同时模拟的智能体数量(2024)
$0推荐课程配置的边际成本——使用 Ollama 进行本地推理
01

斯坦福的生成式智能体——“Smallville”

Park、O'Brien、Cai、Morris、Liang 与 Bernstein,UIST 2023(最佳论文)。25 个 由 LLM 驱动的智能体生活在一个类似《模拟人生》的 2D 瓦片地图小镇中,跨越多个游戏日。每个智能体都有 人设、记忆、日常作息和人际关系——没有脚本;行为由人格描述加上亲身经历生成。原始在线演示已下线,但代码是 开源的,论文可免费获取。

论文:arxiv.org/abs/2304.03442 · 代码:github.com/joonspk-research/generative_agents

要点:这是可信 LLM 智能体的基础架构 ——记忆流 + 反思 + 规划——也是几乎所有后续智能体记忆 工作(MemGPT、Zep 以及下文的框架)所依托的基线。

智能体如何工作——经典循环

记忆流

可信度:完整架构 vs 消融实验

来自一项有 100 名人类评分者参与的受控评估的 TrueSkill μ 值。完整 架构击败了每一个消融版本——也击败了由人类众包工作者手工编写的智能体。完整版 vs 无记忆版的 Cohen's d = 8.16,论文将其描述为“代表了此前最先进的水平”。

完整架构 29.89 无反思 26.88 无反思 + 无规划 25.64 众包工作者编写 22.95 无记忆 21.21

反思是可信度提升的最大单一贡献因素 ——这正是上文循环值得忠实实现、而不是简单地把 LLM 套在状态机上的原因。

涌现了什么——未写脚本

以下内容均未被编程实现。只有一个智能体被植入了举办情人节派对的想法,小镇其余的组织工作都是自行完成的。

受邀 12 人 → 到场 5 人派对的想法在智能体之间传播:发出邀请、协调安排,并自主出席活动。
1 → 8 个智能体(4% → 32%)Sam 的市长竞选通过对话扩散,直到全镇三分之一的人都知道了这件事。
0.167 → 0.74随着智能体形成新的关系,小镇社交网络密度在模拟过程中不断增长。

局限与成本

  • 真实 API 成本。基于 gpt-3.5-turbo 构建;长时间的多智能体运行需要花真金白银——按 2023 年的价格,每次运行需数十美元。没有任何来源给出 Smallville 的确切账单(见待核实问题)。如今在本地模型上复现是免费的。
  • 速度慢。顺序执行的观察 → 反思 → 规划循环是延迟瓶颈;没有任何环节以帧率运行——世界以模拟节拍推进。
  • 失效模式。智能体会陷入重复循环、幻觉出不存在的事件,并在缺乏记忆锚定时逐渐跑偏。这是一个研究原型,不是游戏引擎集成方案。
  • 代码已冻结。2023 年的 Python 代码库,锁定在早期的 OpenAI API 上,是一个参考实现,而非持续维护的产品。现代的重新实现(AI Town、Concordia)是更好的起点——但架构模式本身仍然是标准。

2024 年的后续研究:1000 名真实的人

Park 等人的《1000 人的生成式智能体模拟》 (2024)将智能体建立在对 1052 名真实个体的定性访谈之上,并以 85% 的准确率复现了综合社会调查(General Social Survey)的回答 ——这是个体层面行为保真度的黄金标准,且目前仍然是最新的,未被取代。

论文:arxiv.org/abs/2411.10109。 第一作者 Joon Sung Park 此后共同创立了 Simile AI,致力于 将该方法商业化。

02

Google DeepMind 的 Concordia

Vezhnevets 等人(Google DeepMind),arXiv 2023 年 12 月。Concordia 是一个用于构建 语言介导模拟的库——“将 Smallville 做成一个库”。智能体通过一个灵活的 组件系统产生行为,该系统协调两个基本操作:LLM 调用和联想记忆 检索。一个特殊的智能体——游戏主持人(Game Master, GM)——借鉴自桌面角色扮演游戏,负责模拟 环境:智能体通过用自然语言描述自己想做什么来采取行动, GM 则将这些描述转化为具体结果,在物理世界中检查物理合理性,或在数字世界中发出真实的 API 调用。它是为科学研究而设计的 ——用于实验、数字服务评估和合成数据——而不是作为一款游戏。

论文:arxiv.org/abs/2312.03664 · 代码:github.com/google-deepmind/concordia · PyPI 包:gdm-concordia

要点:这是用于生成式智能体建模的研究级、持续维护的 Python 框架 ——而其游戏主持人模式(LLM 提出,引擎裁决)是最值得借鉴到你自己游戏中的、最干净的行动裁决设计。
维度Smallville(Park 等人)Concordia(DeepMind)
范围一个固定的演示:25 个智能体,模拟人生风格小镇,固定时间步循环通用 Python 库,适用于任意生成式智能体建模场景
行动裁决智能体通过其规划器直接在地图上行动智能体提出自然语言行动;游戏主持人负责裁决并将其落地
记忆 / 认知固定的三段式循环(记忆流 → 反思 → 规划)模块化组件系统——任何思维链或记忆操作都可以成为一个组件
世界单一的 2D 物理沙盒物理、社会和数字环境(API、应用)
目标可信度 / 交互式拟像(HCI 领域)科学实验、服务评估、合成数据
现状(2026)已冻结的参考代码(2023)持续开发中;据报道 v2.4.0(2026 年 3 月)带有异步模拟引擎、支持动态状态编辑的可视化界面和多模态支持单一来源——需核实

延伸阅读:“Concordia 设计模式” (arXiv:2507.08892,2025 年 7 月)记录了重新设计的实体/组件/引擎架构。单一来源——引用前请确认编号

03

其他标志性多智能体世界项目

两大支柱之外的规模扩展与范式开创者——当你把智能体数量推高、赋予智能体可执行技能,或将模拟连接到消息总线上时,会发生什么。

Smallville 的 40 倍放大——25 个智能体变成了多达 1000+ 个智能体,在 Minecraft 中运行(实验涵盖了从 10 个智能体起的多种配置),并发展出 角色、经济、宪法和宗教。其关键使能技术是 PIANO(通过神经编排的并行信息聚合):约 10 个并发的认知模块 ——说话、行动、规划、社会意识、目标生成、记忆——由一个瓶颈式的“认知控制器”聚合,使智能体可以慢思考、快行动,实时运作。

涌现了什么:专业化分工 (农民、矿工、商人、祭司、守卫)、一个使用宝石货币的商人枢纽、一部在共享 Google 文档中投票通过并修订的宪法、通过贿赂传播的飞面神教(Pastafarianism),以及社区之间的迷因传播。

局限:超过 1000 个智能体后,Minecraft 服务器的算力耗尽(智能体间歇性无响应),且 关于智能体究竟有多自主、多依赖脚手架的问题仍然存在。Altera——首席执行官 Robert Yang, 前 MIT 研究人员——在 2024 年 5 月筹集了 900 万美元种子轮融资,致力于打造“数字人类”。

Voyager

Wang 等人,NVIDIA 等 · arXiv 2023 年 5 月 / TMLR 2024 · Minecraft

虽然是单智能体,却具有奠基意义——这是经典的技能 库论文,也是 Minecraft 中第一个基于 GPT-4 的具身终身学习者,且无需 微调。三大要素:(1)自动课程;(2)一个不断增长的 可执行代码技能库,技能可被检索和组合——将记忆做成代码,从而缓解 灾难性遗忘;(3)结合环境反馈、执行错误和基于真实游戏状态的自我验证的迭代式提示。

成果:获得的 独特物品数量是此前最先进方法的 3.3 倍,达到木制工具里程碑的速度快 15.3 倍,探索距离长 2.3 倍;学到的技能可以迁移到新世界。这种“技能库即记忆”的模式可以直接复用到你自己项目中的 NPC 技能系统。

OASIS — CAMEL-AI(2024)

在社交媒体模拟中支持多达 100 万 个 LLM 智能体:信息传播、 极化、羊群效应。开源。

arxiv.org/abs/2411.11581 · github.com/camel-ai/oasis

AgentSociety — 清华 FIB(2025)

通过 MQTT 消息总线维持 10000+ 个智能体。工程启示:将 模拟分布在消息总线上,而不是挤在一个紧耦合的 Python 循环里。

arxiv.org/abs/2502.08691 · github.com/tsinghua-fib-lab/AgentSociety

MetaGPT 与 CAMEL

MetaGPT(DeepWisdom,ICLR 2024):基于角色的智能体团队,带有 SOP 编码的工作流和 发布–订阅共享消息池——为任务型团队而建,但其通信模式很有借鉴意义。CAMEL(KAUST/Eigent.ai):通过初始提示实现双智能体角色扮演,是稳定自主智能体对话的早期标志性工作。

MetaGPT — arxiv.org/abs/2308.00352
04

商业游戏中的 AI NPC

2023 年的技术演示(NVIDIA ACE、Inworld)如今已成为 2025 年发布的正式功能。 量产模式是使用设备端小语言模型(SLM)驱动自主伙伴——而不是每句对话都调用云端。

范围洞察:到 2025 年底,Steam 新品销量前 100 中约 18% 使用了 某种形式的生成式 AI(TechRaptor,2026 年 1 月)——但其中大部分是美术资产/制作环节,而非 游戏内 NPC。游戏内生成式 NPC 仍然是例外——这正使一个可信的 NPC 世界仍然是一件与众不同的、值得构建的作品。
公司 / 技术是什么已发布作品 / 里程碑
NVIDIA ACE Avatar Cloud Engine 是一套由 RTX 加速的数字人技术(Riva ASR/TTS、Audio2Face、NeMo SteerLM)。在 CES 2025 上,它被重新定义为自主游戏角色,使用设备端 ACE SLM 以类人的频率感知、规划和行动,并具备多模态视觉/音频能力。
  • inZOI(KRAFTON,Steam 抢先体验 2025)——“Smart Zoi”可共同游玩角色;首款搭载 ACE NPC 的游戏
  • 永劫无间 PC 版(网易,2025)——本地推理 AI 队友
  • 解限机(Mecha BREAK)——AI 机械师 NPC,已发布
  • Dead Meat——可自由审讯嫌疑人的侦探游戏
  • PUBG: BATTLEGROUNDS——“PUBG Ally”队友,测试中
  • MIR5(Wemade)——“学习型 Boss” Astrion
  • 独立游戏:AI People、ZooPunk
Inworld AI Character Engine + LLM,用于打造具备上下文感知、记忆和个性的动态 NPC。
  • 育碧 “Neo NPCs” 原型(GDC 2024,与 NVIDIA ACE、育碧巴黎合作)原型——尚无已发布作品确认
  • GTA V、天际、辐射的模组
  • Inworld 自研的侦探游戏
Latitude — AI Dungeon → Voyage AI Dungeon(2019)是 LLM 叙事游戏的原型之作,拥有数百万玩家。Voyage(2026)是其继任者:一个基于 Latitude 的“World Engine”、历时 5 年打造的 AI RPG 创作平台——涵盖叙事、游戏状态管理、角色/物体追踪、背景故事与关系记忆。
  • Voyage 于 2026 年 8 月向所有人开放
  • 在 Arcanum RPGs 的 AI-RPG 基准测试中获得 4.4/5 分
Hidden Door 社交 AI 叙事平台——一个由互动图像小说构成的“叙事多重宇宙”,配有一位俏皮的 AI 叙述者。由 Hilary Mason 和 Matt Brandwein 创立;获 200 万美元种子前融资(Northzone,2022)。
  • 平台处于开发/Alpha 阶段;截至研究日期,尚无重要的已发布作品请核实当前状态

相关报道: NVIDIA ACE 在 CES 2025(TechPowerUp) · Tom's Guide ACE 上手体验 · inZOI / ACE(DSOGaming) · Latitude Voyage(TechCrunch) · Hidden Door 融资(GamesIndustry.biz)

05

学生开发者需要掌握的核心技术

上述论文背后的实操知识——如何构建一个智能体、如何让智能体高效交流、如何将预算控制在 0 美元、如何接入游戏引擎,以及如何证明结果确实是涌现的。

架构感知 → 记忆 → 规划 → 行动

  • 感知 = 文字化描述。LLM 基于文本进行推理,因此每个节拍都要将游戏状态序列化为自然 语言:“你在厨房里。Alice 在这里。你饿了。”
  • 记忆分为三层:存放近期事件的短期工作缓冲区;带有新近度/重要性/相关性检索的长期 记忆流;通过反思/总结将历史压缩为持久信念。对于技能密集型智能体,Voyager 的技能库—— 将记忆做成可执行代码——比文本日志更有效。
  • 规划是分层的(天 → 小时 → 行动),并会根据事件重新规划。将快速 反应循环(对话、反应)与慢速深思循环分开——即 PIANO 式的并行。
  • 行动必须经过裁决器。自然语言意图 → 一个游戏主持人式的 验证器,负责检查游戏规则并应用效果。绝不能让 LLM 直接修改游戏状态。

协调多智能体通信

  • 使用结构化的、带收件人的协议——发送者、接收者、意图、紧急程度——而不是 自由形式的群聊。共享消息池 / 黑板(MetaGPT)可以减少广播开销。
  • 拓扑结构很重要。中心化协调者适合顺序任务;去中心化的 辩论/对话适合并行创意任务。Google Research 对 180 种配置的研究 (2026 年 1 月)发现,多智能体协调能提升可并行任务的表现,却会损害顺序任务——而没有通信的独立智能体会将错误放大多达 17.2 倍。要有意识地设计通信,而不是事后补上。
  • 防止聊天死循环:加入冲突解决机制(辩论循环、投票,或由 GM 裁决)并为每个智能体设定回合预算——无限对话循环是 CAMEL 时代已知的失效模式。

性能控制成本与延迟

  • 绝不要每帧调用 LLM。让世界以模拟节拍(秒级)运行,LLM 调用异步进行、置于游戏循环之外——AI Town 的模式是:将每秒 60 个引擎节拍批量合并为每秒 1 个持久化步骤。
  • 模型级联:用小而快的模型处理日常反应,大模型只用于 规划和反思——或者用一个本地小模型包办一切。
  • 本地推理 = 边际成本 0 美元。Ollama + 量化的 .gguf 模型; LLMUnity 可在 Unity 引擎内运行,Laya 报告本地决策在 GPU 上仅需 5–40 毫秒。
  • 延迟技巧:将 token 流式输出到对话中(先文字,后语音);在玩家靠近时预取 NPC 可能的台词;缓存重复台词(店主的问候语成本 近乎为零);用 Opus 压缩音频。
  • 严格控制预算:为每个智能体的每个节拍设定固定的 token 预算;反思是最昂贵的 部分——要少运行。

集成游戏引擎接入

  • Unity —— LLMUnity:通过 Package Manager 中的 git URL 安装;可运行本地 .gguf 模型(llama.cpp),提供 LLMAgent 组件和流式 Chat() API。这是文档最完善的 Unity 路径。
  • Unreal:没有占主导地位的开源插件;有文档记录的模式是使用一个本地 TCP 服务器 (Python/Node)托管 LLM + TTS,Unreal 作为客户端(见 “Breaking the Cloud Barrier,” OpenReview)。
  • Godot:通过 HTTP 使用相同的客户端–服务器模式——用 HTTPRequest 请求本地 Ollama/Concordia 服务器。与引擎无关,且最简单。
  • Minecraft:事实上的研究世界——成本低、真值确定(方块 状态)。标准工具是机器人库(Mineflayer/Malmo 系列);Altera、Voyager 和 Project Sid 都构建在 Minecraft 服务器之上。
  • 最快的课程路径:跳过引擎——将世界做成 Web 应用 / Canvas(像 AI Town 的 PixiJS 瓦片地图)或 Python + Pygame。你会失去 3D 的精美度,但能省下数周时间。

评估涌现行为

  • 可信度评估:借鉴 Park 等人的 TrueSkill 式人类 评分——向评分者展示带与不带你的功能的智能体行为日志。消融实验是你能产出的成本最低、最有力的证据。
  • 对照目标进行验证:Park 等人 2024 年的工作(对综合社会调查达到 85%)是范本,但对课程来说太重。更简单的做法:预先定义目标涌现 现象——信息扩散、角色分化、规范形成——并进行具体测量:网络密度、传播曲线、规则变更次数。
  • 可借鉴的基准:SimBench (arXiv:2510.17516,2025)用于人类行为 模拟保真度;Project Sid 的文明级基准——角色专业化、 集体规则变更、文化传播——可作为观察清单。
06

实用的入门路径

按课程作业的规模来定:几周时间,一台机器,没有 API 账单。

最小可行的多智能体世界游戏

一个 2D 瓦片村庄,3–8 个智能体,一个本地 LLM

智能体会醒来、去工作、吃饭,并在同处一地时聊天,运行 Park 循环(记忆流 + 反思 + 规划),并以浏览器 Canvas 或 Pygame 地图的形式呈现。加入一个共享事件日志和 一个种子事件——一场派对的传闻,或一次市长选举。以每真实秒 1 游戏分钟的速度模拟时间。一切都在本地通过 Ollama 运行,成本为 0 美元。可在 2–3 周内复现,且可演示。

推荐框架(按顺序)

a16z AI Town

采用 MIT 许可证的 TypeScript 入门套件,重新实现了 Smallville:Convex 后端(节拍引擎、 向量搜索记忆、事件日志)、PixiJS 地图,可插拔的 OpenAI/Ollama。 如果你想最快做出一个可运行的演示,这个最合适。

Google DeepMind Concordia

Python,可通过 pip 安装(gdm-concordia),采用游戏主持人模式进行裁决,附带教程 笔记本。如果作业看重干净的架构且你想用 Python,这个最合适。

LLMUnity

带有引擎内本地 LLM 推理的 Unity 包。 如果作业要求使用 Unity,这个最合适。

Minecraft + 机器人库

Malmo/Mineflayer 系列。如果你想要 Project Sid / Voyager 风格的 具身智能体,这个最合适——但搭建成本最高。

三个项目构想(已限定范围)

1 · 谣言传播村庄

Fork AI Town:在一个 Smallville 风格的小镇中放置 5 个智能体。植入一条谣言,测量在有反思和无反思情况下的信息 扩散和态度变化——消融研究就是你的评估章节。

技术栈
AI Town Fork
时间
约 2 周
交付成果
可玩的小镇 + 传播曲线

2 · 带有宪法的小型文明

6–10 个智能体在 Concordia 中共享一种资源(一个鱼塘、一座花园)。他们必须通过游戏主持人提出、投票和修订规则;你则追踪规则的涌现和违规行为。

技术栈
Concordia
时间
约 3 周
交付成果
规则变更日志 + 可持续性指标(参见 GovSim)

3 · Unity 微型游戏中的 LLM 任务发布 NPC

一个 5 分钟的 Unity 地牢,包含 3 个 NPC——店主、任务发布者、守卫——通过 LLMUnity 由本地模型驱动。NPC 们共享对玩家行为的记忆,并据此改变对话和任务。

技术栈
Unity + LLMUnity
时间
约 2–3 周
交付成果
可玩的构建版本 + 延迟/成本测量,证明在消费级硬件上实时运行的可行性
?

无法核实——待核实问题

如实标注,而非编造填充。在作业中引用以下任何一项之前,都值得做一次有针对性的核查。

  1. 原始 Smallville 运行的确切 API 成本——没有任何来源给出具体数字;目前只知道 定性描述(运行于 gpt-3.5-turbo,按 2023 年价格每次运行需数十美元)。
  2. Concordia v2.4.0 的细节(2026 年 3 月)和“Concordia 设计模式”论文 (arXiv:2507.08892)——两者均来自单一的第三方笔记页面;引用前请在 Concordia 发布页面 确认。
  3. 育碧 Neo NPCs 的状态——最后报道为 GDC 2024 原型;尚无已确认的发布作品。
  4. Hidden Door 当前的产品状态——最后可靠的报道是 2022 年的融资/发布; 将其描述为当前状态前请先核实。
  5. Minecraft 机器人库的选择——本次未深入研究(Mineflayer vs. Malmo vs. 更新的 Fork);如果你选择 Minecraft 路径,值得做一次有针对性的跟进。
  6. 方法说明——研究结果来自网络索引,而非实时核实的页面。 经典论文和仓库的 URL 已由多个独立来源佐证(高可信度);单一来源的主张已在上文内联标注。
§

参考来源

  1. Park et al. (Stanford/Google), "Generative Agents: Interactive Simulacra of Human Behavior," 2023(UIST 最佳论文)— arxiv.org/abs/2304.03442 · 代码 github.com/joonspk-research/generative_agents
  2. Park et al., "Generative Agent Simulations of 1,000 People," 2024 — arxiv.org/abs/2411.10109
  3. Vezhnevets, Agapiou, Duéñez-Guzmán, Leibo et al. (Google DeepMind), "Generative agent-based modeling … using Concordia," 2023 — arxiv.org/abs/2312.03664 · 代码 github.com/google-deepmind/concordia
  4. Altera.AL et al., "Project Sid: Many-agent simulations toward AI civilization," 2024 — arxiv.org/abs/2411.00114 · 代码 github.com/altera-al/project-sid
  5. Wang et al. (NVIDIA et al.), "Voyager: An Open-Ended Embodied Agent with Large Language Models," 2023 (TMLR 2024) — arxiv.org/abs/2305.16291 · voyager.minedojo.org
  6. Yang et al. (CAMEL-AI), "OASIS: Open Agent Social Interaction Simulations," 2024 — arxiv.org/abs/2411.11581
  7. Tsinghua FIB, "AgentSociety," 2025 — arxiv.org/abs/2502.08691 · github.com/tsinghua-fib-lab/AgentSociety
  8. Hu et al., "SimBench: Benchmarking the Ability of LLMs to Simulate Human Behaviors," 2025 — arxiv.org/abs/2510.17516
  9. NVIDIA ACE 公告 / CES 2025 报道 — techpowerup.com; Tom's Guide ACE 上手体验, 2025 — tomsguide.com
  10. DSOGaming: "inZOI is the first game with AI-powered NPCs using NVIDIA ACE," 2025 — dsogaming.com
  11. Inworld AI / 育碧 "Neo NPCs," GDC 2024 — insider-gaming.com · club386.com
  12. TechCrunch: "AI Dungeon maker Latitude unveils Voyage," Apr 2026 — techcrunch.com; Wikipedia: AI Dungeon — en.wikipedia.org/wiki/AI_Dungeon
  13. GamesIndustry.biz: "Hidden Door lands $2m pre-seed," 2022 — gamesindustry.biz
  14. a16z-infra, AI Town (开源入门套件) — github.com/a16z-infra/ai-town
  15. undreamai, LLMUnity (Unity 本地 LLM 包) — github.com/undreamai/LLMUnity
  16. "Breaking the Cloud Barrier: Local Deployment of Conversational LLMs for Real Time NPC Interaction in Video Games" (Unreal 集成), 2023 — openreview.net/pdf?id=gNwi9SW3D3
  17. Hong et al. (DeepWisdom), "MetaGPT: Meta Programming for Multi-Agent Collaborative Frameworks," 2023 (ICLR 2024) — arxiv.org/abs/2308.00352
  18. MIT Technology Review: "A Minecraft town of AI characters made friends, invented jobs, and spread religion," Nov 2024(关于 Project Sid)— technologyreview.com