arXiv cs.AI· Ali Afoud, Jie JW Wu·· 3 天前AI 评分34
将验证作为 LLM 智能体的架构层：V-Model 设计及确定性核心的试点研究
Verification as an Architectural Layer for LLM Agents: A V-Model Design, and a Pilot Study of Its Deterministic Core
AI 导读
研究提出将验证作为 LLM 智能体的架构层，借鉴软件工程 V-Model，让规范层级逐级对应专用验证器，由确定性控制器执行判定，仅验证结果写入记忆。在 MuSiQue 四跳任务、8B 参数骨干上对比五种配置：两个无验证配置十题全未答对，均因步数上限或 token 限制终止；带验证但无规划器的配置答对八题，其余弃答。确定性 gate 以零边际成本贡献了九次纠正中的八次，且验证存在时规划反而降低表现。
正文 · AI 翻译
摘要：基于 ReAct 模式构建的大语言模型（LLM）智能体将四项职责集中于一个模型：选择策略、选择每个动作、对其进行格式化，以及判断结果是否充分。生成循环之外没有任何东西可以拒绝其输出，因此无法取得进展的智能体不会报告失败；它会一直运行，直到外部预算将其停止。我们提出将验证视为一个架构层，通过改编软件工程中的 V 模型：规范层级从需求向下延伸到各个步骤，每一层都配有一个专用验证器，一个确定性控制器执行每个判定，并且只有验证结果才写入记忆，因此一次拒绝会定位到引入故障的层级，智能体通过拒绝而非耗尽来停止。每个验证器将零成本的确定性 \emph{gate} 与可选的 LLM \emph{judge} 分开，因此可以独立测量各自的贡献和成本。我们报告了一个实现验收级和单元级验证器对的试点，在 MuSiQue 的四跳分层上，使用 8B 参数骨干，比较了共享同一执行器、工具集和评分器、仅在验证上不同的五种配置。在 47 次执行中，两种未验证配置在十个问题中一个都没答对，每次运行都终止于步数上限或提供商 token 限制；没有规划器的已验证配置答对了八个，其余则弃权。确定性门以零边际成本产生了九次观察到的纠正中的八次，而一旦存在验证，规划反而降低了性能。这些结果描述的是终止行为，而非大规模下的准确性；我们概述了一个为期十二个月的计划，以完成并评估完整架构，包括试点中省略的集成级验证器对。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.31937 [cs.SE] |
| （或此版本的 arXiv:2609.31937v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2609.31937 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ali Afoud [查看电子邮件]
[v1]
2026年9月25日星期五 19:30:58 UTC（26 KB）
[v2]
2026年10月10日星期六 04:25:59 UTC（26 KB）
来源：arXiv cs.AI · arxiv.org