记住容易,过期难

AI 长期记忆真正的坑不是记不住,是它记住的东西过期了,而它自己不知道。

关于 AI 记忆的讨论大多在琢磨两件事:怎么把信息存下来,以后怎么找回来。LangChain 这篇文章指向第三件事:存下来的东西会变质,而系统没有可靠的办法察觉。

现实世界的事实是会变的。你三个月前告诉 AI「我们团队用 Slack」,后来团队搬去了别的工具,AI 那条记忆不会自动作废。它依然言之凿凿地按老信息给你建议,语气和当初一样笃定。

这种慢性变质有两个后果:一是 记忆漂移(存下来的事实和现实越拉越远),二是记忆污染(过期的错误信息被当成依据,又生出新的错误结论)。两者都不是突然崩掉,是一点点烂掉,等你发现时已经分不清哪句还能信。

代码文档是重灾区

这个问题在「给代码写文档」这件事上最明显,因为代码每天都在变。

LangChain 的产品 OpenWiki 干的活是:读一个项目的代码,自动写出一份说明文档,讲清楚这个功能怎么用、那个接口什么行为。

问题在于代码是活的。今天文档写着「任务失败后会自动重试三次」,下周有人把重试次数改成了五次,或者干脆删掉了重试逻辑。文档还停在原地,读它的人(或者读它的 AI)就被带偏了。

这不是 OpenWiki 独有的毛病,任何一份人工维护的技术文档都在烂。区别只是 AI 写的文档烂得更快。它产出得快,复查却没人做。

给每句话挂上证据

OpenWiki 的办法是:文档里每一句事实陈述,都要记下它是从哪段代码看来的。

当 AI 写下一页文档时,它同时要做一件额外的事:把这一页里的事实陈述一条条拆出来,标明每条陈述的依据在代码的哪个位置。

比如文档里写「任务失败后默认重试三次」,系统就会存一条记录:这句话的依据是 `scheduler.ts` 这个文件的第 393 到 404 行。

关键在于它还会记下那段代码当时的版本。这样一来,文档不再是一坨文本,而是一组带着出处标签的断言。每条断言都知道自己的命根子挂在哪儿。

拆出事实陈述 依据在这里 记下当时版本 每次更新时比对 文档页面 AI 写的说明文字 一条断言 「失败后默认重试三次」 代码位置 scheduler.ts 第 393-404 行 版本号 这段代码当时的样子 代码现在的版本 每次更新时的实际状态
文档不再是一坨文本:每句事实陈述都挂着代码位置和当时的版本号,更新时拿旧版本号和现在的代码对一下,就知道这句话还能不能信。

怀疑,但不否定

代码一变,挂在它上面的说法立刻被标成「待核」。这不是判定它错了,是不再假设它对。

下次更新文档时,系统会拿每条断言记下的代码版本,和代码现在的版本对一下。对不上,就把这条标记为过时。

这里有个容易误解的地方:标成过时不等于说这句话错了。代码改动千千万,很多改动根本碰不到这句话的意思。标记的含义是现在没有把握了,得回头看一眼才能继续用。

更有意思的是这个「没把握」的状态怎么保存。OpenWiki 不额外存一个「可疑」的标签,因为存下来的证据版本本身就够了:每次更新都重新对一次,对不上就还是可疑。不确定性会一直挂着,直到真有人(或者 AI)回去核实过为止。

「过时」的真正含义 依据的代码变了,这句话还能不能信, 现在没把握,得回头核实 它不表示什么 不表示这句话已经错了。 很多代码改动根本不影响这句话的意思
OpenWiki 把断言标成过时,是在表达「我不确定了」,不是在宣判错误——原文原话是:过时不必然意味着错误,只意味着系统不能再安全地假设它仍然成立。

核实,或者改掉

被标记的说法有两条出路:核实后确认还成立,就刷新证据版本;确认不成立,就连文字带证据一起改。

检测出问题只是第一步。真正让这套机制转起来的是修正环节。

AI 在下次更新文档、读到某一页时,这一页上所有待核的断言会跟着页面内容一起摆到它面前。它顺手处理:回代码里看一眼,还对就更新版本号,不对就把文档改了。没处理完的继续挂着,不会被悄悄抹掉。

这和「推倒重写」有本质区别。推倒重写是每次都从代码重新生成一遍文档,看起来省事,但系统丢掉了它之前知道的一切,包括哪些地方曾经出过问题、哪些说法是人工确认过的。OpenWiki 选的是保留已有的,只修变动的部分。

代码改动 有人改了被引用的那段代码 版本对不上 更新前的机械比对,不用 AI 标记为待核 不确定性存着,不自动删改 AI 顺手核实 下次改到这页时回代码看一眼 确认或改掉 还对就刷新版本,不对就连文带证一起改 没被处理的断言继续挂着待核状态,留给下一次更新, 不会被悄悄抹掉。
一条自我修正的闭环:代码变动让旧说法变得可疑,这份可疑一直保留到有人真去核实为止。关键是它不推倒重写,只修变动的部分。

检查不花钱

每次更新前的全量检查是纯粹的版本号比对,不调用 AI,所以文档攒到几千条断言也不会变慢。

这套机制有个容易被忽略的工程设计:失效检测里一次 AI 调用都没有。

系统开工前先把所有断言过一遍,逐条比对版本号,这是机械的、确定的操作,跟查字典一样快。真正需要 AI 判断的,只有那些已经被标出来的、并且恰好出现在本次要改的页面上的断言。

结果是成本的账算法变了:更新一次文档要花多少钱,取决于代码改了多少,而不是文档有多大。文档越积越厚,检查的开销基本不涨。这是让这套机制能长期跑下去的前提。如果每次检查都要 AI 把几千条断言读一遍,再好的想法也会被账单压死。

数字说明了什么

实验里过时说法从 80 条降到 9 条、编造的从 15 条降到 0,但这是 LangChain 自己设计、自己跑的测试。

LangChain 搭了个实验台:拿一个代码仓库,按 git 提交历史一步步往前放,中间设几个检查点让 OpenWiki 更新文档。这些提交里故意混进了新功能、行为改动、修 bug,还有撤销之前的改动。

每次更新后,他们把文档里的事实陈述分成四类:有代码支撑的、曾经对但现在过时的、从来就没对过的(也就是编造的),以及无法核实的。同一套流程跑两遍,一遍开启新机制,一遍不开。

单次运行里还看到了自我修正的完整过程:某次代码改动让 17% 的断言变成待核状态,到下一个检查点时,待核降回 0%,有代码支撑的断言从 77% 恢复到 98%。

但要说清楚这些数字的分量。这是厂商测自己的产品,实验台是他们自己搭的。 提交序列怎么挑、检查点设在哪、哪些算「编造」,每一项都由被测方决定。编造从 15 降到 0 尤其值得多看一眼:文档里每句话都必须挂上具体代码位置,挂不上的写不进去,这个机制本身就堵死了编造的出口。降到 0 是设计的直接后果,不完全是意外之喜。

真正值得记住的是这个思路:让记忆系统承认自己「不确定」,并且把这份不确定保存下来。 大多数 AI 系统的毛病恰恰是永远笃定,它不会说「这事我以前知道,但现在可能变了」。能表达怀疑,是往可靠迈的一步。

实验中累计出现的问题断言条数 不开启新机制 80 条过时 + 15 条编造 基线对照组 开启新机制 9 条过时 + 0 条编造 过时降约九成,编造清零
同一套代码提交序列跑两遍:过时说法从 80 条降到 9 条,凭空编造的从 15 条降到 0。注意这是 LangChain 自己设计、自己运行的测试。