研究提出操作级框架测量LLM能力实现差距

研究者提出一个操作级测量框架，用能力基准构建基础画像、用交互轨迹构建操作画像，并把“能力实现差距”定义为实际操作表现相对基础能力预测的偏离。 在 τ²-Bench 上对 15 个模型服务的实验显示，基础画像只能部分预测智能体操作，画像相近的模型在执行上可能差异显著，且差距在不同任务子集上保持一致；操作画像能补充信息并显著提升任务得分预测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。