论文复现与构建笔记
logs/
论文复现与构建笔记,围绕两个方向展开——models:让基座模型更强大;以及 agents:把能力变成产品。
reproductions/
RLVR 是引擎;后训练、harness 与记忆是运行时;注意力是底座;持续学习是知识保持时新的方式。这里的记忆是 agent 读写的一个存储。LLM 模型编辑是改权重——同一个问题,不同的介质。
GRPO 既训练推理模型,也训练记忆管理器。GRACE 与 WISE 位于 LLM 模型编辑与 agent 记忆之间的枢纽上。注意力是长 CoT RLVR 与长程 agent 赖以立足的底座。
rlvr/
奖励从哪里来、能不能信任、够不够稠密。
已复现已读
foundation
algorithm
debunking
test-time
domain
更早(推荐系统,主线之外):DCN-V2 · ESMM · ColBERT
models/
基础模型能力:后训练/RFT、LLM 模型编辑、推理与服务
To Forge or Not to Forge:一项十样本试点的预注册研究
构建笔记 · 2026-08-31
关于我的技术报告的构建笔记:在一套冻结的 LoRA 协议下,把一个十样本试点与 61 个任务上的全量微调配对,追问试点到底能不能决定哪些任务值得微调。完整 PDF 已内嵌。
takeaway: 试点是一个有预算价值的排序器,而不是 go / no-go 门禁——这个负结果之所以可发表,是因为诚实条款是预注册的。
Engram:把用户信念写进模型权重
构建笔记 · 2026-06-27
关于在 RAG 与 LLM 模型权重编辑之间路由个人记忆、再在禁用检索的情况下验证归因的构建笔记。
takeaway: 记忆系统需要溯源,而不只是召回。