arXiv cs.CL· Jeong-Yoon Kim, Tae-Yoon Lee·· 3 天前AI 评分22
BTS-AgentBench：从只读遥测日志到智能体基准的确定性可重放流水线
BTS-AgentBench: A Deterministic, Replayable Pipeline from Read-Only Telemetry Logs to Agent Benchmarks
AI 导读
BTS-AgentBench 是一个确定性编译器，可将只读遥测与设备元数据转换为工具驱动的多轮智能体任务、阶段级目标、证据与可执行评测契约。
正文 · AI 翻译
摘要：运营设施积累了大量的本地遥测数据，但从这些档案中构建具有可溯源答案、可供智能体进行交互式评估的任务成本高昂。特定站点的测量历史也促使人们采用本地转换工作流，以便在原始运营数据必须由组织控制的情况下运行。我们提出了 BTS-AgentBench，一个确定性编译器，可将只读遥测数据和设备元数据转换为由工具支持的多轮智能体任务、阶段级目标、证据和可执行的评估契约。BTS 版本包含九个系列的 532 个回合；第二个语料库移植产生了 204 个 XAI4HEAT 回合。冻结输入重放可逐字节复现发布的产物，独立的原始来源检查覆盖了全部 89 个 BTS 和 41 个 XAI4HEAT 测试回合。可重放溯源将 1,170 个试验身份与记录的执行和评分器条件关联起来，而 1,125 条已完成的轨迹保留了模型响应和工具结果。对 216 个已评分失败的义务级比较发现，关联记录在 202 个案例（93.5\%）中暴露了额外记录的失败义务，包括工具参数、流身份、状态延续和缺失的交互步骤。该流水线由此支持基于来源的任务生成、精确重建以及智能体执行的可审计诊断。代码、已发布的基准和复现说明可在 此 https URL 获取
| 学科： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2608.27334 [cs.CL] |
| （或 arXiv:2608.27334v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.27334 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Jeong-Yoon Kim [查看电子邮件]
[v1]
2026年8月27日星期四 16:35:52 UTC（902 KB）
[v2]
2026年10月14日星期三 10:35:50 UTC（47 KB）
来源：arXiv cs.CL · arxiv.org