Hugging Face Daily Papers· Yanjie Zhang·· 22 天前AI 评分31
当用户改变主意:LLM 智能体意图漂移的测量与修复
When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents
AI 导读
研究提出 IntentFlux 可执行基准,将可验证任务转为带受控意图变更的多轮对话,用于测量 LLM 智能体的"意图漂移"——已被取代的用户意图仍影响最终回答或工具调用。在 627 个案例的校准中,随着对话包含更多被取代和撤回的信息,平均任务得分从 0.476 降至 0.384;在八个模型上测试了完全正确解的比例。
来源:Hugging Face Daily Papers · huggingface.co