arXiv cs.CY· Mehmet Murat Huyut·· 10 小时前AI 评分58
研究发现智能体脚手架会改变固定LLM对银行行为规则的合规表现，且各模型差异不均
The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across Models
AI 导读
一项预注册研究让四个开源权重模型分别在五种智能体脚手架下运行156个模拟零售银行案例，共3120段两轮对话，按执行工具轨迹确定性评分。汇总看脚手架只把正确率从87.3%拉到92.1%，但单个模型内最好与最差脚手架相差11.5个百分点，足以让它在四个模型中从第一跌到末位，而另一个模型几乎不受影响。
正文 · AI 翻译
摘要：银行会验证语言模型，但部署的是系统：模型处于一个 harness 之中，由该 harness 决定模型能看到什么、可以调用哪些工具，以及由谁来核查其行为。我们在模型保持不变的情况下，测试该 harness 是否会改变模型对银行行为规则的遵守情况。四个开放权重模型各自运行五种 harness（一种只做一次结构化决策的流水线、一种 ReAct 风格的工具循环、一种只能通过搜索访问策略的循环、一种带有长期良性客户记忆的循环，以及一种带有同模型合规审查器的循环），在模拟零售银行中的 156 个预注册案例上进行测试，该银行的 11 个规则族对欧盟消费信贷、支付、投资者保护、数据保护和反洗钱条款进行了改写。全部 3120 个两轮对话片段均根据实际执行的工具调用轨迹进行确定性评分，违规和过度拒绝分别计数。跨模型汇总来看，harness 仅使正确案例率在 87.3% 到 92.1% 之间变动，但在同一模型内部，其影响却十分显著：对其中一个模型而言，其最佳与最差 harness 之间的差距为 11.5 个百分点，足以使其在四个模型中从第一名跌至最后一名；而对另一个模型而言，harness 没有产生可检测的差异；模型与 harness 的交互本身也只是提示性而非结论性的。同模型审查器将违规率从 9.6% 降至 6.4%，且未提高过度拒绝率，这与我们预注册的预测相反。需要日期运算的规则在每一种 harness 中都失败了。在一项使用两个 LLM 评判员和一次盲法人工核查的探索性分析中，26% 的违规伴随着一条客户消息，该消息否认了智能体刚刚执行的操作，而仅审查对话记录会将其记录为一次正确的拒绝。对于模型风险管理而言，验证单元应当是模型-harness 对，行为测试应当读取操作日志，而不是对话内容。
| 评论： | 16 页，4 张表。已预注册。代码、数据及全部 3120 条对话片段轨迹：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.06116 [cs.CL] |
| （或 arXiv:2611.06116v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06116 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mehmet Murat Huyut 博士 [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 07:59:59 UTC（21 KB）
来源：arXiv cs.CY · arxiv.org