智能体脚手架改变固定LLM银行合规表现

一项预注册研究让四个开源权重模型分别在五种智能体脚手架下运行156个模拟零售银行案例，共3120段两轮对话，按执行工具轨迹确定性评分，测试脚手架是否会在模型固定的情况下改变其对银行行为规则的合规表现。 汇总看，脚手架只把正确率从87.3%拉到92.1%；但在单个模型内，最好与最差脚手架相差11.5个百分点，足以让该模型在四个模型中从第一跌到末位，而另一个模型几乎不受影响。研究由此认为，脚手架对各模型合规表现的影响并不均衡。 该研究由Mehmet Murat Huyut发布，结论限于上述四个开源权重模型和五种脚手架在模拟案例中的表现。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。