研究团队提出校准信任基准评估LLM对不完美伙伴的依赖

研究团队提出一个校准信任基准，用于评估大语言模型在协作中是否适度依赖不完美的伙伴。该基准覆盖23类协作场景、共324个场景，每个场景含三次连续决策，可精确解析模型的依赖策略。 在七个模型的测试中，最强前沿模型接近最优决策，其余模型反复出现过度购买保障、为零信息价值的验证测试付费、重眼前节省轻协作学习等偏差。团队称，提供显式后验分布能修正部分错误，但也会引入新的失败模式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。