Paper Notes

AriGraph

9 min read

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

1. 背景与问题

LLM 智能体在探索环境、完成长期任务时，需要记住过去的信息。例如做饭时，要记住菜谱、食材位置和已经完成的步骤。

最基础的方案包括完整历史、滚动摘要和向量 RAG，分别面临上下文不断增长、压缩丢失细节、相关线索分散等问题。已有研究也发展了更丰富的记忆机制。按照本文第 6 节的讨论，可以分为以下几类：

方向代表工作已有思路与本文关注的差异
技能与经验复用Voyager、JARVIS-1 等保存学到的技能、成功经验或任务计划，便于复用已有做法。本文更关注环境中对象、位置和关系的持续维护。
带反思的记忆检索Generative Agents（本文基线称为 Simulacra）综合近期性、重要性和相关性检索经历，并产生高层反思；记忆检索已超出单纯的向量相似度匹配。
从行动轨迹总结经验Reflexion、CLIN从过去的行动及反馈中提炼经验。例如 Reflexion 在失败后反思，供后续尝试使用。本文进一步关注事实关系与原始经历的结构化关联。
语义与情景双重记忆LARP已区分语义记忆与情景记忆；作者指出，它缺少将二者关联起来的结构化知识表示。
基于图的检索与问答GraphReader、HippoRAG、GraphRAG、HOLMES已经从文档构图并检索关联信息，部分方法也把实体与来源内容关联起来。本文着重处理交互中不断变化的环境知识。

因此，AriGraph 的研究空间在于：**把结构化事实与完整经历联结起来，并在持续交互中更新、检索和使用这些知识，支持规划与探索。**知识图谱、反思和双重记忆都有前序工作，贡献应结合这些已有机制来理解。

实验中，Simulacra 和 Reflexion 参与文本游戏比较；GraphRAG、HOLMES 等参与多跳问答比较。上表中的相关工作并非都作为同一实验的对照。

2. 方法与创新

**记忆如何组织。**AriGraph 把两种记忆连接起来：

  • 语义记忆（semantic memory）：用知识图谱保存事实，例如“菜谱需要红椒”“花园里有红椒”。
  • 情景记忆（episodic memory）：保存某次观察的完整原文，例如当时看到的整份菜谱。

图 2：AriGraph 记忆结构与 Ariadne 智能体流程

图 2：左侧是记忆结构，右侧是使用 AriGraph 的 Ariadne 智能体。截取自 v3 PDF 第 4 页。

图 2 左侧的圆圈和箭头表示对象及其关系；、、 表示不同时间的完整观察；彩色区域把一次观察与其中抽取出的事实关联起来。

每个情景节点保存一次完整观察，并关联到这次观察抽取出的全部三元组。例如，“菜谱需要红椒”和“菜谱在厨房桌上”来自同一次观察，就可以共同指向那份菜谱原文。这既保留事实之间的联系，也保留它们共同出现时的上下文。

**记忆如何构建与更新。**每收到一次新观察，系统用 LLM 抽取“对象—关系—对象”三元组，再找出图中与这些对象有关的已有关系，由 LLM 比较并识别过时事实，删除旧关系、加入新关系；同时保存完整观察及其关联。

例如，红椒原本在花园，智能体取走之后，就应把“红椒位于花园”更新为“红椒在背包里”。语义图维护当前有效的知识，情景记忆保留过去的观察。这样，规划时可以减少旧位置造成的误导，过去的经历也仍可追溯。这里的“学习世界模型”指通过交互更新外部知识。

**记忆如何检索。**检索分为两步：

  1. **先找事实，并扩展关联线索。**用 Contriever 根据向量相似度选出相关三元组，再将其中的实体作为新的查询，继续检索相关关系。搜索深度 控制扩展层数，宽度 控制每次保留的关系数量。这种方式同时利用语义相似度与图中的实体联系，能跨过表述差异，逐步找到分散的线索。
  2. **再找原始经历。**根据检索到的三元组，沿情景关联找回完整观察。排序同时考虑“一条观察中有多少比例的事实被命中”与“这条观察包含多少事实”，再取最相关的若干条。这样可以补回事实抽取中遗漏的步骤、描述或其他上下文。

结合图 2 的例子：先从菜谱找到“需要红椒”，再以红椒为线索找到“花园有红椒”，就可以规划去花园取食材；需要具体烹饪步骤时，再找回菜谱原文。事实图帮助连接线索，完整经历帮助保留细节，动态更新帮助维持当前状态。

**记忆如何用于行动。**图 2 右侧的 Ariadne 是使用 AriGraph 的完整智能体。它把目标、当前观察、近期行动和检索到的两类记忆放入工作记忆，先生成或调整子目标，再由 ReAct 决策模块选择动作；执行后根据新观察继续更新记忆。图中的空间关系还能用于路径规划和识别未探索出口。

本文的主要贡献是将这些机制整合成面向动态交互环境的语义—情景记忆图及其更新、检索流程。GraphRAG、HOLMES 等已有来源内容与实体关联的做法；AriGraph 的特色还包括维护随交互变化的知识，并将其用于智能体规划和探索。

3. 应用与效果

主要用于需要长期记忆和多步行动的任务。论文测试了寻宝、做饭、打扫等 TextWorld 文本游戏，也测试了 NetHack 和多跳问答。

图 3：Ariadne 在文本游戏中的实验结果

图 3：A 比较不同记忆方法，B 比较更难的任务，C 与人类玩家比较。截取自 v3 PDF 第 5 页。

以图 3 上排中间的 Cooking 为例：

  • 使用 AriGraph 的完整智能体得分为 1.00，普通 RAG 约为 0.36，完整历史约为 0.18。
  • 去掉情景记忆后，得分降至约 0.64，说明保留完整经历对记住菜谱细节有帮助。
  • 下排 B 中，在更难的寻宝和做饭任务中，完整智能体仍保持较好的表现。

不过，右上角的 Cleaning 中，去掉情景记忆反而更好，说明两种记忆的收益与任务有关；打扫更依赖对物品当前位置的准确维护。

图中纵轴是归一化任务得分，1 表示完成任务。结果采用每种方法 5 次运行中最好 3 次的平均值。

Graph View