arXiv cs.CL· Pe\~na Arroyo Gallego, Mauro Ruiz Moreno, Alejandro Acien, Sergio Romero-Tapiador, Teresa Arroyo-Gallego·· 11 小时前AI 评分31
PresenceBench：评估大语言模型对用户状态的适应能力
PresenceBench: An Exploratory Evaluation of Large Language Model Adaptation to User State
AI 导读
研究者提出 PresenceBench，用于测量 AI 智能层能否利用外部提供的用户状态（如准备度、心流、稳定性）来改善响应。
正文 · AI 翻译
摘要：存在感知智能是指 AI 系统的智能层能够适当适应其所服务对象的功能状态（此处为准备度、心流与稳定性），同时保持任务质量与安全。我们推出 PresenceBench，一种用于测量该能力的工具。PresenceBench 评估智能层如何使用所提供的状态，而非该状态如何被感知，并将该能力拆解为可测量的属性。本文测试其中两项。接受性：模型是否采纳该状态并给出比无信号时更好的响应？特异性：任何改进是否取决于正确的状态，而非额外的结构化上下文？第三项，跨状态适应，是必需的终点，但本版本未予测量。五臂因果设计针对每个模型自身的基线以及一个同等结构化的错配状态对照，回答上述两个问题，并由正确性门控的人工配对比较评分。探索性评估覆盖四个模型，涉及十八个单轮、六个固定三轮和六个模拟自然对话场景。提供合成状态（原始形式或转换为响应策略）后，四个模型（Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Terra）的人类偏好点估计均高于 0.5，八个 95% 区间中有三个排除随机。特异性未获解决：没有任何按模型的区间排除随机，且该设计尚无法将状态取值与通用的适应指令区分开。策略传递降低了各模型基线下的计价成本和输出 token；这些是资源使用变化，而非效率提升，因为正确性非劣效性未获确立。安全底线失败罕见（360 例中 13 例），策略传递下存在不显著的超出。我们报告该工具、冻结结果以及验证性研究所需的对照。
| 评论： | 33 页，6 幅图，13 张表 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23625 [cs.HC] |
| （或 arXiv:2610.23625v1 [cs.HC] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23625 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Teresa Arroyo-Gallego [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 15:33:04 UTC（866 KB）
来源：arXiv cs.CL · arxiv.org