arXiv cs.AI· Nguyen Minh Thang·· 1 天前AI 评分34
Contain、Conform、Compare：面向小型编程智能体的红队评测工具包及完整实验记录（扩展版）
Contain, Conform, Compare (Extended Version): A Red-Teamed Evaluation Kit for Small Coding Agents and the Full Record of Its Experiments
AI 导读
drydock-eval 可在单张 RTX 5090 上以约每小时 250 次运行的速度评测小型编程智能体 Gemma 4 E4B，其 Contain 模块通过 200 项脚本化逃逸测试，Conform 提供八项检查以对齐本地与托管评分器的请求配置。
正文 · AI 翻译
摘要：Gemma 4 Developer Agent 竞赛中的托管评分只是一个带有噪声的数字，因此开发需要一个本地评估器，它要快速、对智能体编写的代码安全，并与托管评分器的提示词保持一致。drydock-eval 在一张 RTX 5090 上以每小时约 250 次运行的速度评估一个小型编码智能体（Gemma 4 E4B）。Contain 将每个作业隔离在无网络的全新容器中运行，并通过了 200 项脚本化逃逸测试；conform 提供八项检查，将本地技术栈的请求与评分器配置进行比对，细至渲染后的 token；compare 提供尊重仓库聚类的配对统计。AI 智能体构建并攻击了该工具包；人类负责人批准了机器使用与发布。本扩展版重复了短文内容，并补充了围绕该工具包所做实验的完整记录：9,660 行智能体运行记录、2,494 项评分对照和 72 项服务测量，全部公开。在四张 L4 GPU 上，31B 模型单流解码速度为每秒 38.1 个 token，E4B 为 105.8。31B 智能体的六种配置在 70 项开发任务中解决了 37 至 44 项，未检测到两两差异。一项预注册的五臂实验（231 项任务，4,620 个作业）测量了四种提示词差异：未检测到 E4B 解决率变化（最大估计值为 -2.1 个百分点，95% 区间为 -4.4 至 +0.4）。E4B 智能体的三项改动在筛选中领先 +1.0 至 +6.2 个百分点；随后每项都在冻结通过规则下于新任务上测试一次，均未得到确认（增益分别为 -0.35、-0.39 和 +4.10 个百分点）。未改动的基线在同样的 128 项任务上再次运行，变动了 1.17 个百分点，且这些任务中有 65% 在八次运行中均未被解决。提示词和智能体包不予公开；所有运行级结果均公开。
| 评论： | 52 页，15 幅图，37 张表。代码：此 https URL（标签 v0.4.0）。数据和分析脚本作为附件文件包含在内 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.16485 [cs.AI] |
| （或 arXiv:2611.16485v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16485 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Thang Minh Nguyen [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 08:54:03 UTC（628 KB）
来源：arXiv cs.AI · arxiv.org