arXiv cs.AI· Samuele Giampieri·· 3 天前AI 评分37
Cortex：面向编码智能体技能与规则的测量门控演化与剪枝
Cortex: Measurement-Gated Evolution and Pruning of Coding-Agent Skills and Rules
AI 导读
Cortex 是一款对编码智能体 harness（项目文件、技能与规则）的改动先测试再采纳的工具：把开发者会话中的修正保存为可重放任务，逐条写入技能或规则，仅在重复运行显示净收益且无任务明显变差时保留，删除前同样测试，且不增删智能体从未使用的文本。
正文 · AI 翻译
摘要：诸如 Claude Code 之类的编码智能体也会遵循开发者为它们编写的文本文件：项目文件、智能体可选择打开的技能，以及当智能体读取匹配文件时自动加载的规则。我们称这些文件为智能体的 harness。开发者每次纠正智能体时都会向其中添加内容，但一次成功说明不了什么：同一个智能体可能一次通过任务，下一次却失败。
我们提出 Cortex，一个测试 harness 变更而非轻信它们的工具。它把开发者会话中的修复保存为可重放的任务，找出反复出现的纠正，一次编写一条技能或规则，并且只有在带与不带它进行重复运行显示出净收益且没有任务明显变差时才保留它。现有文本在删除前也以同样方式测试，而 Cortex 既不添加也不删除智能体从未使用过的文本。
我们在一个为此目的构建的代码库上用 Claude Haiku 4.5 测试了 Cortex，其中包含模型倾向于违反的约定、一个无可学习内容的区域，以及一个扮演开发者的脚本。在留出任务上，它构建的 harness 使智能体遵循约定的频率远高于没有技能或规则时，使对照区域保持不变，并且没有添加每轮都会读取的文本。自动加载的规则承担了大部分工作；技能只有在与任务涉及的文件一起提供时才有帮助，而每轮都提供的技能很少被打开。Cortex 没有保留我们植入的任何无用或有害建议，但智能体从未打开无用的那些或有害的技能，也没有对有害规则作出判定，因此该测试表明 Cortex 不保留未使用的文本，而非它能检测损害。在更强的 Claude Sonnet 5 下，单次运行的 harness 增益甚微，而在一个真实开源项目中，智能体很少被纠正，Cortex 没有发现任何可学习的内容。我们发布该工具、实验环境及其数据。
| Comments: | 46 页，22 幅图，8 张表。摘要有删节。代码和数据：此 https URL |
| Subjects: | 软件工程（cs.SE）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.14216 [cs.SE] |
| （或 arXiv:2610.14216v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14216 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Samuele Giampieri [查看电子邮件]
[v1]
2026年10月9日星期五 18:29:48 UTC（2,921 KB）
来源：arXiv cs.AI · arxiv.org