BenchPreS：评估持久记忆 LLM 的上下文感知个性化偏好选择性基准

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

AI 导读

研究者提出 BenchPreS，用 Misapplication Rate（MR）和 Appropriate Application Rate（AAR）两项指标评估持久记忆 LLM 能否在第三方沟通场景中恰当应用或抑制用户偏好。结果显示，即使前沿 LLM 也难以做到上下文敏感，偏好依从性更强的模型过度应用率更高，推理能力与基于提示词的防御均无法完全解决该问题。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）越来越多地将用户偏好存储在持久记忆中，以支持跨交互的个性化。然而，在受社会和制度规范约束的第三方沟通场景中，某些用户偏好可能不适合应用。我们提出 BenchPreS，用于评估基于记忆的用户偏好在不同沟通情境中是被恰当应用还是被抑制。通过两个互补指标——误用率（MR）和恰当应用率（AAR），我们发现即便是前沿 LLM 也难以以情境敏感的方式应用偏好。偏好遵循能力更强的模型表现出更高的过度应用率，而推理能力和基于提示的防御都无法完全解决这一问题。这些结果表明，当前 LLM 将个性化偏好视为全局可执行的规则，而非依赖情境的规范性信号。

评论：	已被 EMNLP 2026 接收
主题：	人工智能（cs.AI）；计算与语言（cs.CL）
引用格式：	arXiv:2603.16557 [cs.AI]
	（或使用 arXiv:2603.16557v2 [cs.AI] 查看此版本）
	https://doi.org/10.48550/arXiv.2603.16557 arXiv 颁发的 DOI，通过 DataCite

提交历史

来自：Sangyeon Yoon [查看邮箱]
[v1] 2026年3月17日星期二 14:19:05 UTC（2,556 KB）
[v2] 2026年10月14日星期三 04:23:03 UTC（2,557 KB）

来源：arXiv cs.CL · arxiv.org