2026-06-27
Engram:把用户信念写进模型权重
Engram 从一个窄问题出发:一条信念本应成为模型的一部分,而不只是又一条被检索到的笔记——个人 agent 该怎么处理它?
我构建的答案是一条分路的记忆路径。普通事实、文档和日程类记录留在可逆的 RAG 存储里。持久信念与偏好走巩固路径,经 HoReN 写入模型权重。瞬态的聊天噪声则被忽略。
路由边界
关键的设计选择是路由器。一个用户轮次被抽取为记忆候选,再分类为 belief、fact、other 或低置信度噪声。信念进入编辑缓冲区;事实和其他可逆上下文保持可检索。
这个边界之所以重要,是因为 RAG 和 LLM 模型编辑解决的是不同的问题。RAG 适合可逆的事实。权重级编辑面向那些应当在检索被关掉后仍然存在的持久偏好。
以归因为证明
这个 demo 围绕归因构建,而不是凭感觉。教给它一条持久信念,巩固之后,在关闭检索的情况下提出探针问题。如果 retrieved == [] 而回答仍能回忆起被教的信念,知识就活在被编辑的模块里,而不是提示词里。
编辑模块还可以关掉再打开。关掉时,信念消失;打开时,信念回来。这正是多存一些上下文与真正改变模型记忆路径之间的有用区别。
相对通用 LLM 模型编辑后端,改变了什么
HoReN 提供编辑后端。Engram 在其外加上个人记忆层:抽取、路由、巩固、溯源记录,以及面向用户信念的、不含答案的规范 key 提示词。
个人信念类查询往往长得太像:「我相信什么?」「我的偏好是什么?」「我该怎么选?」Engram 额外添加由主语、关系与信念陈述派生的 key,使相似的查询形式仍能检索到正确的被编辑记忆,而不会把答案泄漏进 key 里。
当前的限制
这是一个 hackathon 原型,不是通用助手。它的范围限定在单用户个人问答场景,事实、文档、日程与可逆内容仍由 RAG 作为正确的存储。
我在意的部分是系统的形态:实时学习、局部编辑与归因。一个记忆系统不应只记住,还应能解释答案从何而来。