Lessons in Memory RL
在 Memory RL 中遇到的具体的坑和处理方法(背景为模型在长上下文中使用文件管理 Memory 和 Skill)
写对内容和写对位置
最早的更新奖励主要看预测记忆能不能和目标记忆做语义匹配。这样一来,即使文件换了排版或措辞,合理的更新仍然能得分。但同样是因为评分只看内容,一条流程规则即使写进了错误的 skill 文件,也可能拿到近似的分数。
比如,用户要求今后从任务看板整理会议纪要时,在末尾附上决策负责人,但模型把这条规则写进了某份项目专用的 skill。后来用户换了项目,检索模型只打开任务看板对应的 skill,于是那条规则虽然还留在磁盘上,却没进到这次任务的上下文。
因此,我们给更新奖励加了位置条件。具体来说,个人记忆和索引按小节判断,流程记忆则按 skill 所属的工具领域判断。内容匹配但位置错了,仍给部分的分数,而且匹配时优先选位置正确的候选,否则措辞更像参考答案的错位副本可能抢走匹配。
给出明确的错误反馈
我们翻检索日志时看到,模型多次调用 grep_memory,把搜索范围设为 skills,却漏掉了必填的搜索词 pattern。这些调用之后,模型也没有打开任何具体的 SKILL.md。
漏传搜索词本该算调用失败,但旧实现没有明确报错。结果,模型收不到补参数的提示,评分器也没有因为这次错误调用扣分。
为此,我们让工具在参数缺失或为空时返回失败,提示模型提供非空的 pattern,并把失败写进调用记录,让现有的格式奖励扣分。如果搜索词有效,只是没有命中,工具仍然返回成功和空结果。
调整策略/Prompt
按关键词找流程规则未必合适。因为模型往往知道任务涉及哪个工具领域,却不一定知道规则的正文用了什么词,所以可以先列出已有的 skill,再按领域打开相关文件。相比之下,找个人事实时通常有明确的主题或关键词,用 grep 定位后再读对应小节更方便。
我们把这两条路径写进检索提示词之后,轨迹里开始频繁出现实际的 skill 读取。
扩展数据
最早的检索样本直接来自真实轨迹,每个检索点都保留了当时的记忆状态、用户的请求和应召回的信息。虽然原始请求覆盖了很多场景,但每个历史状态通常只配了一种问法。因此,模型练过从某个状态里找一条个人偏好,却未必练过从同一个状态里找办事流程,或者把两类信息一起找出来。
于是,我们先试着对同一个历史状态换几种问法,比如只查一个值、区分旧偏好和现行偏好、沿时间线追查变化,或者跨文件找齐信息。写这些问题时,可以说明要找哪类信息,但具体值要留给模型从当时可见的记忆里找。
到了正式扩数据时,我们除了保留原始任务,还分别补了个人记忆、纯流程和两者混合三类检索。其中,混合样本专门练一次找齐两类信息。比如,用户要求按过去的审批顺序处理任务,同时遵守最近改过的通知偏好,这时只找到审批顺序就不够。
调整奖励
除了把写入位置纳入正确性判断,我们也调过一些更小的规则。这些调整大多来自同一个问题:旧评分给出的分数,和我们从 rollout 里看到的错误程度对不上。
给检索和更新不同的调用预算。 早期两者的免罚区间(指少于多少step不扣分)差不多,但许多成功检索很快就读到了所需信息,失败的检索却可能一路搜到硬上限,最后返回空上下文。由于旧效率项在接近上限时仍给了不少分,我们就把检索的扣分起点提前。至于更新,一次正常操作可能就要读写多个文件,因此仍保留较宽的预算。
把重复写入的扣分留在重复项上。 早期评分一遇到重复标题,就把整份记忆的正确性置零,以至于模型只多留一个副本,其余正确更新也拿不到分。于是我们让重复项也参加一对一匹配,这样多出的副本会降低 precision,其余正确更新照常得分。额外拆出的重复 skill 同理,因此无需再按文件数量扣分。
工具调用成功之后,还要交得出东西。 即使所有读文件调用都成功,最终输出也可能是空的、只有文件路径,或者贴了大段未经筛选的原文。因此,检索格式分同时检查工具调用和最终返回。反过来,如果模型一次工具都没调用,回答格式再工整也拿不到这部分奖励。
上下文超长
我们原本打算把整轮 session 交给模型做一次 rollout,等它读完对话和工具结果、更新完记忆,再按最终状态评分。但是对于 agentic 任务,有些 session 光工具日志就很长,还得给模型后续的工具调用和输出留空间,一次放进上下文就容易超出预算。因此,我们沿消息边界把 session 切成多个 chunk,按顺序处理。
为了让这些 chunk 接得起来,同一条 rollout 始终读写同一个记忆目录。不过,下一段只拿到当前 chunk 的对话和工具结果,还需要知道本轮前面已经做了哪些改动。因此,程序在每段结束后,把当前 Markdown 和 session 开始时的快照做一次 diff,再把累计净改动放进下一段的 session_work_state。这份工作记录还会带上当前处理到第几段、多少段已保存或失败,以及已推断出的日期。
比如,第一段把新偏好写进 USER.md,下一段就能从工作记录里看到这个文件改了哪些行,需要时再打开对应内容。这样,各段通过同一份记忆目录接续,也能从简短的工作记录里知道本轮已经改了哪里。等最后一段执行完,我们再按整轮 session 的最终状态评分。
修正之前的错误
更新任务里,一轮对话可能带着很长的工具日志。为了让输入放得下,我们沿消息边界把对话切成几个 chunk,再逐段更新同一个记忆目录。
不过,第二段会接着第一段实际留下的状态往下走。比如,标准轨迹先把新偏好写到 USER.md,再在第二段补一条关联事件。如果实际 rollout 在第一段漏写了偏好,那么第二段即使按标准动作补了事件,USER.md 里还是少了那条偏好。
所以,我们用标注轨迹导出每个 chunk 的目标状态,再让 teacher 看当前 rollout 的真实状态与当前目标之间的差距。这样,如果第一段漏写了偏好,第二段的差距里仍然会有这一项,teacher 也就能提示模型补写。反过来,已经写好的条目会从差距里消失。
OOM
一次小模型 smoke 在计算 entropy 时就耗尽了显存,尽管配置里已经启用了分块计算。顺着 OOM 调用栈查下去,才发现实际走的 FSDP no-padding 分支仍然一次处理完整 logits。于是我们补上这个分支的分块实现,在保持 entropy 数值的同时削掉了那块临时显存峰值。
同一轮排查里,即使把 micro-batch 设成一个样本,Update 样本里的多个 segment 也可能一起进入前向计算。由于样本数限制不住这批实际处理的 token,我们改成按 token 组织微批,再分别设置前向打分和 actor 反向的预算。
除了GPU,还有CPU和磁盘
有一次训练特别慢,本来认为是 GPU 或者是训练代码的问题,排查下来,结果是 rollout 的工作目录放在了一个 I/O 较慢的 NAS 挂载上。我们的 agent 每走几步就要列目录、读文件或写回记忆,工具执行完才能把结果交给模型继续生成。于是,一次读写多等一点,在长轨迹里就会反复累积。
后来把 rollout 的工作目录迁到读写更快的块存储盘,训练推进就快了不少。此前看每步耗时,我们容易先数生成了多少 token、做了几次前向和反向。这个案例让我们多看了一层:模型两次生成之间,还要等工具在 CPU 上执行和读写文件。