arXiv cs.CL· Yiwen Yang, Guanming Liu·· 10 小时前AI 评分31
ProcessPrefBench：评估自然人机交互中个体过程偏好的跨任务迁移
ProcessPrefBench: Evaluating Cross-Task Transfer of Individual Process Preferences from Naturalistic Human-AI Interaction
AI 导读
ProcessPrefBench 基于两位知识工作者三个月的自然对话构建 66 个源-目标案例，测试模型能否把一次对话中暴露的过程偏好迁移到未重述该偏好的后续任务。相比仅给目标提示，完整历史和指令化蒸馏偏好提示分别将偏好实现度提升 0.204 和 0.244 分（0-2 量表），但蒸馏无可靠优势。捏造证据的失败率同时从 5.8% 升至 10.1% 和 10.4%。
正文 · AI 翻译
摘要：在自然的人机对话中，用户的纠正、请求和自我描述携带了关于他们希望工作如何完成的可复用信号。这些信号揭示了个人过程偏好、用户特定的证据标准、深度、分析重点、程序和交付标准。我们探究在任务未重述的情况下，一段对话中揭示的偏好能否影响助手后续的回答。ProcessPrefBench 使用来自两名知识工作者三个月的自然对话构建了 66 个源-目标案例，分别针对源证据和目标适用性进行评判。源是预先选定的，因此该基准测试的是应用而非检索。我们测试了三种模型，分别采用仅目标、完整历史和蒸馏偏好提示。目标特定的 0-2 评分标准对偏好实现程度打分，任务门控标记严重失败。与仅目标提示相比，完整历史和命令式蒸馏偏好提示在 0-2 量表上分别将偏好实现程度提高了 0.204 和 0.244 分，蒸馏没有带来可靠优势。捏造证据的失败率从仅目标提示下的 5.8% 上升到完整历史下的 10.1% 和命令式提示下的 10.4%。ProcessPrefBench 凸显了从对话中学习的一种张力：利用先前的交互可以提高偏好实现程度，但也可能招致捏造证据。我们希望它有助于构建既能尊重用户过程偏好又不牺牲事实可靠性的助手。
| 评论： | 11 页，2 幅图。发表于 LM Playschool 2026（EMNLP 2026 研讨会） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06065 [cs.CL] |
| （或 arXiv:2611.06065v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06065 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | The Proceedings of Improving Language Models through Learning from Dialogue Game Interaction，第 30-40 页，计算语言学协会，2026 年 |
| 相关 DOI： | https://doi.org/10.18653/2026.lmplayschool-1.3
链接到相关资源的 DOI |
提交历史
来自：Yiwen Yang [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 07:10:46 UTC（578 KB）
来源：arXiv cs.CL · arxiv.org