arXiv·· 12 天前AI 评分31
多轮对话中模型为何被"已否决的改动"带偏：Intent-Eval 基准揭示意图理解缺陷
You Changed Your Mind, The Model Didn't: Demystifying Intent in Multi-Turn Dialogue
AI 导读
研究发现，大语言模型在多轮任务中即使最终拒绝了某项改动，仅仅提及该改动也会让模型偏离原有任务执行。为此研究者提出 Intent-Eval 受控基准，覆盖工具调用、代码、数据库和数学任务，测试显示模型普遍容易受被否决提议和已废弃需求干扰。
来源：arXiv · arxiv.org