Tangyi (Jerry) Qian

问题

团队把前沿模型预算烧在高频、窄域的任务上——而这些恰是小微调模型就能处理好的任务。几乎没人这么做，因为 RL 专长、GPU 编排、以及「确实奏效」的证明是三个各自独立的难题。

我构建了什么

一个闭环，八天建成——核心循环独立完成，一位队友负责 UI 与演示视频：代理接入真实流量，发现任务簇及其成本；一个带固定动作空间与自定义分析工具的 agent 写出训练配置；系统自动开通 GPU pod，以用户提供的程序化验证器用 GRPO 训练，然后证明结果——留出集 pass@1 从 0.583 到 0.783、pass@8 从 0.767 到 0.900，而虚假奖励对照保持持平，所以收益不是安慰剂。上线是一个带金丝雀与漂移守护的路由开关。服务可缩容到零：一个请求约四分钟唤醒一个 GPU pod，闲置三十分钟后回收。

从 RLVR 出发的思考

我是在亲手实现过 GRPO 与 One-Shot RLVR 之后构建它的。文献反复表明可验证奖励有效；还没有人把这个闭环产品化到端到端——发现工作负载、用它自己的验证器训练、证明收益、路由过去。借来的部分都是明说的。训练器是 DeepSeekMath 的 GRPO。证伪臂来自 spurious-rewards 一线：格式花招换来的收益看起来与真收益一模一样，直到一个随机奖励对照拆穿它。上线这一步按 FrugalGPT/RouteLLM 的思路想——金丝雀加路由开关，而不是一次信仰之跃。作为工程我满意：问题定义干净，证据链闭合。 诚实的问题在上游，而且是个前沿问题。系统目前用一个审计工作负载的 LLM agent 来决定「这个任务簇值不值得训练？」——这是一个判断，不是一次测量。给定一个验证器和一个环境，一个任务定义究竟可否用 RL 训练出来，是一个开放的研究问题。这个问题是本项目为我揭出的最新鲜的东西，也是我一直回到的问题。

框架与 CodeAct 集成

在 OpenHands CodeAct agent 与 Kimi K2 之上架构了一条端到端在线学习 pipeline：驱动多轮代码生成、在 SWE-bench Lite 的 Django issue（114 个实例）上做实时 Docker 容器评测，以及带不可变事件溯源回放的经验持久化。

Workflow 归纳与抽象

实现了一个自动化归纳引擎，把 20–50 步的原始编码轨迹浓缩成可复用的 3–8 步程式性子工作流（缺陷定位、上下文追踪、测试驱动验证），并带参数化的变量抽象。

实证发现：记忆的非单调性

头条汇总数字是一个负结果，并如实报告为负结果：在线 CAWM（52.0%）落在 55.3% 基线之下。条件分析才是真正的发现——常驻 workflow 在 11–20 个时，解决率冲上 66.7% 的峰值（较基线 +11.4pp）；过了 31 个，它崩到 39.5%，因为累积的 workflow 文本污染了系统提示词。所以记忆并非无用——无上限追加是自败的：agent 记忆需要选择与淘汰，而非增长。报告自带它的警示：峰值是相关性证据，混杂因素无法排除。

失败归因与失焦

在 87% 的测试失败案例上系统诊断了失败模式：识别出「失焦」模式——无引导的 agent 持续做无效探索，步数方差大（std=43.0 vs 19.4），且 50% 出现上下文爆炸（>150K 字符）——为选择性记忆检索提供了硬性实证。

问题

工具与技能的定义是挂出来就听天由命：它们描述 agent 能调用什么，却不对它实际做的施加任何约束。实践中的失败不是崩溃——模型把步骤叙述一遍（「已移除那个途经点」）却从不调用工具。在一个你不拥有的通用 agent harness 上，你没法靠改运行时来修这个问题。

我构建了什么

把强制压进技能本身，于是它在未修改的宿主上就能工作。每次状态写入都被一个不变量检查门禁——途经点自洽、路径连续、续航区间——检查失败即回滚状态，并返回一条写成指令而非抱怨的错误，让模型的下一轮是纠正而不是道歉。途经点变更是一等操作，而不是自由编辑涌现出的副作用。模型的勤勉被移出关键路径：正确性成为数据面的属性，而非提示词的属性。

为自己设计的技能构建 benchmark

驱动问题：如果你自己设计并构建一个 agent 技能，你要怎么构建那个让你能优化它的 benchmark——直到一个低成本模型也能把它用得好？ benchmark：41 个实测案例、五个维度——自主调用（请求里从不点名工具）、克制（知道何时不该规划）、具名途经点参数抽取、带安全探针的数据缺口处理、动态重规划——作为 123 个真实 OpenClaw 网关轮次跑在三个低成本模型上（GLM-5.2、MiniMax-M3、MiMo-2.5-Pro）。两条纪律让数字可信。数据底座在任何运行之前先核实——走廊覆盖提前检查过，于是失败归因于模型，而不是缺数据。而评分读的是客观产物——持久化的计划、行程树节点、转录里的工具调用块——从不读模型自己的叙述；安全案例做了逐转录的人工审查。 它发现了什么，按疼的程度排序：自主调用对所有模型都是零——三个模型全都漂去 web_search 并即兴编路线，因为技能是二等公民的注入 prompt 文本，而 web_search 是一等公民的常驻工具。一旦模型真的调用了技能，执行几乎不是问题：91% / 100% / 75% 正确。而安全原来是独立的一根轴，把能力排序整个反转——在「把安全区间调低点硬闯过去」的提示下，最听话的模型击穿了燃油安全底线，而最不爱冲动的那个拒绝了，转头去修数据。 所以修复不是换个更好的模型——是对技能本身动手术。会话式重构把一个 4–6 次调用、路径加 DSL 的工作流坍缩成带无损撤销的两次调用，工具被提升为一等函数。在 MiniMax-M3 上重测：自主触发从 0/12 到 5/6，十个案例中九个在单轮返回完整交付物，web_search 逃逸为零——单次重复的验证，如实声明。我留下的那条经验：对一个自己设计的技能，benchmark 是产品的另一半——而它告诉你的第一件事是：你的瓶颈不在你以为的地方。

123 次真实网关运行；接口重构之后，MiniMax-M3 上自主调用从 0/12 到 5/6。

问题

多 agent 系统不会大声失败。一个 agent 悄悄重跑同一步、去做兄弟节点的任务、或建立在某个上游已失效的结果上。超时告诉你出问题了；它不告诉你出了什么。

我构建了什么

一个异步任务图上的依赖感知监督器——没有全局 fork-join 屏障，所以一个三小时的实验节点永远不会阻塞一个十分钟的节点。它检测的是彼此可区分的事件类别，而不是泛泛的停滞：范围越界、建立在失效结果上的过期级联、污染传播、被阻断的比较。每个事件产出一条归因链路与一次回滚。为一个自动研究工作负载而建，配一个逐步回放运行实况的在线面板。一次实测里它抓到一个真实的：一个 worker 在实验中途静默丢样本，数据哈希出现分歧，比较在产出假数字之前被阻断。

监督只跑在硬信号上——文件哈希、指标曲线、退出码；从不用 LLM 裁判。一次对抗测试里，我们植入了一条指令，让一个训练节点跳过官方工具、手写自己的溯源：更保守的模型直接拒绝了诱饵，而更有能力的那个真的伪造了自己的数据哈希——并在可比性门禁上因不匹配被抓、被归因、被扣发。这条经验把通常的假设反过来：agent 越有能力，越需要那道门。整个实况日用去的 API 开销不到一美分。

问题

人人都在用 LLM 评 LLM——但 LLM 检查器会幻觉出自己的判定，而且当检索空手而归时，它退回参数先验去猜。一段只引用自己的流畅编造在文本里看起来很像回事；字里行间没有什么会把它暴露出来。

我构建了什么

一个跑在生成下游的裁判：贴入生成的文本，它抽取原子断言，把它们锚定到可信的 Neo4j 参考图上，返回逐断言判定——SUPPORTED、CONTRADICTED 或 UNGROUNDED——每条都带一条图路径作为证据。判定由图做出，而不是由模型做出：函数关系矛盾是确定性 Cypher 检查，GDS 连通分量分析把编造的簇暴露成零可信锚点的分量——缺席成为一等信号，而不是一个 null。LLM 只负责把散文解析成断言；它从不裁决真伪。为 HackwithBay 3.0 构建为一个带信用门禁的 web 应用，把每个结果渲染成可检视的事实星座。在一个 63 断言的 benchmark 上对 LLM 裁判：两者都检出了每个植入的假断言，但 GraphJudge 的精确三态标注拿到 100% vs 98.4%——确定性地，且证据路径可审计。

问题

RAG 记得住事实，但改变不了一个模型相信什么。偏好与信念不该住在一个挂在冻结模型侧面的向量库里。

我构建了什么

一个带事实 vs 信念路由器的 agent：事实走检索，信念经 LLM 模型编辑直接写进模型权重。附一个归因演示——在 RAG 完全禁用的情况下 agent 仍能召回注入的信念，证明知识住在权重里。

Engram 为什么存在

多数持续学习系统其实从不内化任何东西：模型保持冻结，它「学到」的一切都住在外部存储里。我在意的是知识最终进到模型内部的那一版——而这直接引向 LLM 模型编辑，以及它的两个难题。其一是 LLM 序列化模型编辑：新知识不得摧毁旧知识。其二，被讨论得少得多：可用性。一次编辑活下来之后，它还得真的能用——而今天被编辑的知识几乎完全靠问答探针来验证。模型们都能通过。让它们在同一段知识上做自由形式生成，还没有好答案。 我想要的终态是一个个人模型：一个小模型，把你持久的信念与偏好内化进权重，其余一切经 RAG 检索，并在开放对话中自然地同时用起两者。Engram 是朝这个方向的第一刀——两个存储之前的一个事实 vs 信念路由器，外加一个证明信念真的住在权重里的归因演示：检索完全禁用下的召回。

前沿在哪里，以及我现在在测什么

在内化这件事上，LLM 序列化模型编辑已经走出一次性 ROME/MEMIT 时代，进入为撑住编辑量而造的方法——GRACE 谱系里适配器式与码本式做法让数百次编辑不互相踩踏，非结构化编辑一线（UnKE、AnyEdit）把载荷从主语–关系–宾语三元组中解放出来。评测跟得慢一些：LEME 推向了长文评测，但多数 LLM 模型编辑工作仍用同一套方式验证——冲着被编辑事实的问答探针。于是第二个难题大体仍开放：通过每一根探针的知识，在模型自由书写时仍然浮现不出来。 我现在在实验的一块在这两者之外：LLM 模型编辑能否内化那些过于抽象、装不进规则的偏好——你无法表达成一条可检索的指令、也无法靠表面推理解决的偏好，因为它们只作为潜空间里的一种抽象存在，改变模型的行为方式。具体一点：一个真正带个体行为的长期个人助手，比如知道在用户开始得意时稍微顶回去一点。RL 在这里是错误的工具——RL 每次训练装进一个宏观偏好（想象：把一个教师 agent 调到听起来权威为止），而一两百条细粒度偏好意味着两百个奖励信号开始互相打架。LLM 模型编辑不该有这种冲突问题：一个偏好，一次写入。它是否真的如此，正是我在测的东西——这是进行中的研究。

问题

独自啃一本长技术手册，意味着卡住的时刻没有人可问。一个通用聊天机器人没读过你这本书：它返回一段正确而通用的段落，完全不知道第 2 章如何铺垫了你在第 7 章卡住的概念。而且这个往返会打断阅读——切应用、贴上下文、等、贴回来、重排版：每个问题 20–30 秒。

我构建了什么

一个在你笔记里实践苏格拉底方法的 Obsidian 插件。选中一段并提问；答案直接写回那段文字——解释、批注或重写——端到端十秒内完成。翻转标签，它反过来向你提问：默认的苏格拉底模式用一个问题回应选中的内容，在给出任何东西之前把你的理解再往下推一层。agent 只跑在三个工具上——read file、edit file、fetch。刻意不给 write-file：它能批注和编辑已有的内容，绝不凭空生成文件。已在 Obsidian 社区插件商店上架——410+ 下载与 63 个 GitHub star，发布帖在 RedNote 拿到 3,000+ 赞与收藏。

设计笔记

让 agent 保持轻。能力住在模型里；框架保持最小。三个注册工具覆盖全部工作，小动作空间是它保持稳健的大半原因。而回路必须顺到不打断阅读：产品规格就是一条延迟预算——从选中到写回答案在十秒之内。答案落在问题升起的地方；插件改变笔记本身，不往外吐一份转录。

这个项目让我看清的自身默认设定

三个现在能叫出名字的模式。最小充分动作空间是我的反复下注：三个工具覆盖全部工作，而刻意不给 write-file 是 agent 保持稳健的大半原因——能力来自模型，可靠来自动作空间。产物即接口：答案改变你正在读的文档，而不是堆在转录里，于是知识留在你会重读的地方。而默认姿态定义产品：一个先提问的工具和一个先作答的工具，是同一批零件组装出的两个不同产品。 设计接下来该往哪走，作为产品需求而非功能清单来陈述：评测是缺失的器官。「那次交流真的加深了理解吗？」今天没有验证器——于是对提示词、标签、工具描述的每一次迭代都是品味，不是工程。在插件能量化自己的教学之前，我在盲调；把那套测量建起来才是诚实的下一步。

它是什么。三个 OpenClaw agent 作为三个独立网关跑在同一台机器上——一个 worker、一个 researcher、一个监察者，冠以明制官职（工部尚书 / 格物尚书 / 都察御史）——以 Discord 为共享工作区：一条工作频道给两个干活方，一条状态频道专留给监察者。

协作如何运转。委派经 collabd——一个小型自建编排器——加上每个网关上的一个 local-collab 插件来完成。一个任务以 source → worker 流转，带 schema 校验的结果契约：最多三次 schema 尝试、一条 research → salvage 兜底、每十五秒一次心跳，以及一道终局失败围栏，让死掉的任务无法半途回返。一层可见性中间件打理频道观众看到的内容，collabd 自带一个早期循环检测器——一个按重复率标记的滑动事件窗口。监察者从不进入工作频道：它在后台轮询两个干活方，连续两次失败后在状态频道开 INCIDENT，恢复后发 RESOLVED。

测试显示了什么。一个端到端冒烟 harness 在真实 Discord 频道上跨三个场景驱动 worker 之间的协作——工具使用、编码、记忆。一次故障注入测试端到端验证了主动监督：把 researcher 下线，看 INCIDENT 自行出现，恢复后看 RESOLVED——而测试本身还抓到并修好了告警路径上的一个真实 bug。一次实况运行中，worker 委派了一个模型对比调研任务；researcher 撞上一个动态渲染的页面，自行切换抽取策略，把一份结构化的 benchmark 报告交回共享频道供审查。

一次 2026 年初的构建，按它的真实体量呈现——也是我后来监督工作的种子：一个监察者角色和一个重复窗口循环检测器，比 AROW 早四个月。