论文复现与构建笔记

logs/

论文复现与构建笔记,围绕两个方向展开——models:让基座模型更强大;以及 agents:把能力变成产品。

reproductions/

RLVR 是引擎;后训练、harness 与记忆是运行时;注意力是底座;持续学习是知识保持时新的方式。这里的记忆是 agent 读写的一个存储。LLM 模型编辑是改权重——同一个问题,不同的介质。

GRPO 既训练推理模型,也训练记忆管理器。GRACE 与 WISE 位于 LLM 模型编辑与 agent 记忆之间的枢纽上。注意力是长 CoT RLVR 与长程 agent 赖以立足的底座。

rlvr/

奖励从哪里来、能不能信任、够不够稠密。

已复现已读

foundation

algorithm

debunking

test-time

domain

GRPO

Shao et al., 2024

已复现

DeepSeekMath / GRPO

组相对优势、无 critic——我实现并对照程序化验证器运行的算法。

姿态:完整复现论文 ↗

更早(推荐系统,主线之外):DCN-V2 · ESMM · ColBERT