arXiv cs.AI· Toby D. Pilditch, Konstantinos Voudouris, Alexandra Abbas, Cozmin Ududec·· 10 天前AI 评分28
Transect：为长周期 LLM 智能体评估保留可观测性
Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations
AI 导读
Transect 是一个基于 Inspect Scout 的开源工具包，用于分析长周期 LLM 智能体评估中数百页的转录记录，将事件、token 用量、子智能体活动和模型生成的行为标签对齐到统一的回合时间线上。在一项生成近 1300 万 token 的 AI R&D 评估中，该工具将智能体工作划分为与研究技能分类对齐的行为阶段，发现其集中于操作性工作和稿件产出，几乎没有持续假设生成阶段的证据。
正文 · AI 翻译
摘要：前沿 AI 评估越来越多地使用开放式、智能体式、长时程任务，其记录可能包含复杂多智能体网络产生的数百页输出和操作。因此，可观测性范围——即评估者能够可靠推断智能体行为的范围——正在收窄。语言模型助手可以帮助分类和解读智能体行为，但也赋予人类评估者相当大的分析自由度，威胁到基于语言模型的记录分析的可复现性和可审计性。Transect 是一个基于 Inspect Scout 构建的开源软件包，旨在帮助评估者理解长时间智能体运行的过程、识别值得调查的行为，并对照记录核查解读。用户可在可复用的评估族配置中指定任务背景和行为词汇表，评判模型和分析设置则单独提供。Transect 的可导航报告将记录事件、token 使用、子智能体活动和模型生成的行为标签对齐到统一的基于轮次的时间线上。审阅者可以快速把握一次运行的叙事脉络，将任何标签或事件追溯到其来源轮次，并导出底层数据表以进行跨运行分析。我们在一次 AI 研发评估中演示了该工作流，该评估生成了近 1300 万个 token，将智能体的工作划分为与研究技能分类相一致的行为阶段、子智能体委派与交互以及 token 使用。综合视图显示，工作重点集中在操作性工作和稿件产出上，几乎没有证据表明存在持续性的假设生成阶段——而这可以说是高质量科学产出所必需的组成部分。Transect 灵活、可定制的记录分析流水线将使评估者能够跟上更长、更复杂、更频繁的 AI 评估，同时支持科学严谨性、透明度和可复现性。
| 评论： | 27 页，5 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08364 [cs.AI] |
| （或 arXiv:2610.08364v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08364 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Toby Pilditch [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 13:52:15 UTC（216 KB）
来源：arXiv cs.AI · arxiv.org