QMMMS's Blog

Lessons in Memory RL

在 Memory RL 中遇到的具体的坑和处理方法(背景为模型在长上下文中使用文件管理 Memory 和 Skill) 写对内容和写对位置 最早的更新奖励主要看预测记忆能不能和目标记忆做语义匹配。这样一来,即使文件换了排版或措辞,合理的更新仍然能得分。但同样是因为评分只看内容,一条流程规则即使写进了错误的 skill 文件,也可能拿到近似的分数。 比如,用户要求今后从任务看板整理会议纪...

漫宿一瞥

真正的司辰不会面见虚源之神,环杉却在林地茂盛处与树中牝马会面。 找一处安静的地方 拉上窗帘,或戴上眼罩;光不必参与今天的练习 靠在沙发上,或躺在床上 把身体安放到它最容易忘记自己的姿势 双脚自然分开,脚趾向外,后跟相对 双腿与双臂微微张开,手掌向上,手指自然弯曲 轻轻闭上眼睛。留意颈部是否已经松开 如果它仍固执地记得白日的重量,就在颈下垫一个枕头 身体已经准备好了 做几次自然的深呼...

从SFT、RL到OPD。。。以及中间选择?

背景 监督微调和强化学习解决的是同一个问题:让模型更倾向于生成我们认为更好的输出: SFT 直接给出标准输出,让模型在固定样本上模仿 RL 让模型先生成,再用奖励函数评价结果,然后提高高奖励输出出现的概率。 在大模型后训练里,SFT 通常更稳定。给定输入 $q$ 和标准回答 $o$,训练目标就是提高 $\pi_\theta(o\mid q)$。梯度稳定,适合作为冷启动,但是...

RL in Memory

背景知识 监督微调的做法是给它标准答案,让它模仿;强化学习的做法则是让模型先生成,再用一个奖励函数评价这次生成的结果,然后提高高奖励输出出现的概率,降低低奖励输出出现的概率。 把语言模型写成强化学习里的策略,记为 $\pi_\theta$。给定输入 $q$,模型生成一个输出序列 $o=(o_1,o_2,\ldots,o_T)$。在自回归模型里,第 $t$ 个 token 的生成概率是: ...