arXiv cs.AI· Nicolas Gertler, Claudio Novelli, Luciano Floridi·· 1 天前AI 评分31
为 AI 智能体运行框架(Agent Harness)建立可移植的规范描述
Towards Portable Specification of the Agent Harness
AI 导读
研究者将 LLM 智能体的运行框架(harness)拆解为八个功能组件,并提出一套可移植的规范框架,用于记录"哪个模型在哪个 harness 中运行"。同一模型在不同 harness 配置下,报告分数可相差数倍,且智能体的攻击面很大程度存在于 harness 中。
正文 · AI 翻译
摘要:大型语言模型仅通过其周围的基础设施发挥作用。该基础设施即 harness,决定了模型能够完成什么以及如何失败,但它尚无确定的定义。为弥补这一空白,我们将 harness 分解为八个功能组件,这些组件可跨系统进行指定和比较,并提出一个可移植的规范框架,用于记录哪个模型在哪个 harness 中运行。之所以需要该记录,是因为不同的 harness 配置可使同一模型的报告分数出现数倍差异,且智能体的攻击面很大一部分位于其 harness 中。现有的模型卡和智能体卡提供了发布和运行信息,但未确立一次运行内有效配置的序列。harness 可能在发布之间和运行之间发生变化,并且在智能体编辑自身工具和配置的情况下,还会在一次运行内发生变化。已生效的 AI 法律包含与受涵盖系统相关的文档义务,但受各自范围和适用日期约束,并未规定此处提出的通用 harness 记录。因此,必须将 harness 作为系统的版本化部分加以明确描述和指定。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.40917 [cs.AI] |
| (或 arXiv:2610.40917v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.40917 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Nicolas Gertler [查看电子邮件]
[v1]
2026年10月29日星期四 19:43:14 UTC(769 KB)
来源:arXiv cs.AI · arxiv.org