arXiv cs.CL· Ran Li, Shimin Di, Zeyu Ren, Ling Yue, Jiachuan Wang, Lei Chen·· 10 小时前AI 评分38
Latent Harness：将智能体行为编译为解码器块后激活偏移
Latent Harness: Compiling Agent Behaviors into Post-Block Activation Shifts
AI 导读
Latent Harness 提出把外部 harness 条件蒸馏为 rank-8 激活偏移，注入冻结主干的每个解码器块输出，仅占 0.03-0.05% 参数，推理时不携带 harness 文本、不增加 token。
正文 · AI 翻译
摘要：Harness 工程与自进化智能体能够快速提升语言模型智能体的表现，但其收益存在于模型之外。Harness 在每次调用时都会被重新发送并重新计费，而将其内化的标准途径是权重更新，这种方式迭代成本高昂，且一旦合并便固定不变。我们提出改为编译 harness。Latent Harness 将外部条件蒸馏为 rank-8 激活偏移。该偏移施加于冻结骨干网络每个解码器块的输出端，仅涉及 0.03-0.05% 的参数。该条件可以是显式的过程级行为指令，也可以是智能体 harness 的行为契约。推理时，编译后的 bundle 不携带任何 harness 文本，也不增加任何 token。它提供三个运行时控制项：注入强度、注入阶段和偏移空间混合。在 10 个预注册设置中有 8 个，编译后的行为恢复了源 harness 的收益。在显式源付出最重单次调用 token 代价的场景中，编译形式甚至超越它。相同的 bundle 可零样本跨任务迁移（7 对中有 5 对为正），并可在偏移空间中组合，而堆叠文本指令则会产生破坏性干扰。将其用作搜索空间时，可使预算匹配的 harness 搜索提升 1.45 倍。在三个智能体基准上，该算子使策略与 harness 契约对齐。在数据、容量和有效强度匹配的条件下，它优于同等容量的 LoRA——后者需要 11.1 倍的参数才能达到相同区间，并且在基础策略已经很强的场景下不会造成任何退化。在 1B 到 8B 模型上，方法骨架保持不变，而收益位置随模型-任务对而移动，这界定了编译 harness 应部署于何处。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01415 [cs.CL] |
| （或 arXiv:2611.01415v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01415 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ran Li [查看邮箱]
[v1]
2026年11月1日周日 01:52:11 UTC（1,395 KB）
来源：arXiv cs.CL · arxiv.org