arXiv cs.CL· Minyuan Ruan, Ziyue Wang, Kaiming Liu, Yunghwei Lai, Peng Li, Yang Liu·· 2 天前AI 评分31
BASIS：评估交互场景下超越指令的信念感知解决方案
BASIS: Evaluating Belief-Aware Solutions in Interactive Settings beyond Instructions
AI 导读
研究者提出 BASIS 基准，用于评估 LLM 智能体能否推断用户请求背后的心理状态、识别信念与现实的不匹配，并据此给出合适方案。评估显示，当前模型在生成解决方案时往往忽略用户心理状态，而当这类信息被明确引出并提供时，方案质量持续更高。研究还通过通用 CoT 提示词对比、心理状态信息干预、针对性训练和多智能体协作实验，验证了考虑心理状态的实用价值。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体日益能够执行复杂、长周期的任务，然而有效的协助不仅仅需要忠实地执行用户指令。用户的请求反映了他们当前对问题的理解，而这种理解可能是不完整的、过时的或错误的。当这种理解与实际任务状态出现偏差时，字面地遵循指令可能无法实现用户的根本目标。我们提出了 \textbf{BASIS}（\emph{\textbf{B}elief-\textbf{A}ware \textbf{S}olutions in \textbf{I}nteractive \textbf{S}ettings}），一个评估智能体能否推断用户请求背后的心理状态、识别信念与现实之间的不匹配，并利用这种理解来制定合适解决方案的基准。\textbf{BASIS} 并非仅通过显式问题来评估心理状态推断，而是同时评估此类推断的效用以及用户-智能体交互中下游解决方案的质量。评估结果表明，当前模型在生成解决方案时往往未能考虑用户的心理状态，而当此类信息被显式引出并在问题求解过程中可用时，解决方案质量始终更高。我们进一步通过与通用思维链提示的比较、对心理状态信息的受控干预、针对性训练以及在部分可观测性下的多智能体协作实验，研究了考虑心理状态的实用价值。这些研究共同强调了不仅要推断他人的心理状态，还要利用这些理解来提供有依据的、目标导向的协助的重要性。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.13832 [cs.CL] |
| （或 arXiv:2602.13832v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.13832 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Minyuan Ruan [查看邮箱]
[v1]
2026年2月14日星期六 16:01:59 UTC（1,743 KB）
[v2]
2026年10月15日星期四 03:02:52 UTC（1,099 KB）
来源：arXiv cs.CL · arxiv.org