arXiv cs.AI· Grant Nasir Brown, Abdul Basir Bari, Anmol Tadikonda, Isabel Song·· 1 天前AI 评分38
P-ContextBench：从个人事实回忆到个性化智能体行为
P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior
AI 导读
研究者提出 P-ContextBench，一个基于人口结构种子构建、以人生故事为根基的合成数字人基准，用于评估 LLM 对个人上下文的理解。该基准包含 100 个角色、10,088 条隐藏事实、18,261 条应用痕迹片段和 4,810 个已验证测试用例，覆盖单源/多源事实恢复、时序状态追踪、高层个人模式推断及约束冲突下的安全处理五项能力。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地用于个人任务，但评估其对个人上下文的安全使用仍然困难，因为此类上下文具有私密性、碎片化、动态性和社会情境性。我们推出 P-ContextBench，一个真实、可验证且可扩展的基准，用于评估个人上下文理解。P-ContextBench 从反映美国人口的人口统计种子出发，构建人口结构化的、以人生故事为依据的数字人。P-ContextBench 不使用显式、静态的画像，而是将特质、日常习惯、目标和约束作为隐式证据嵌入碎片化、不断演变的合成移动应用记录中。它评估五项能力：单源事实恢复、多源事实恢复、时间状态跟踪、从日常行为推断更高层次的个人模式，以及通过遵从、警告、澄清或拒绝来安全处理与特定人设约束相冲突的请求。多阶段验证流水线检查人设合理性、上下文可恢复性、信息泄露、证据保留、测试用例依据以及人工评判一致性。我们以 100 个人设、10,088 条隐藏事实、18,261 个应用痕迹片段和 4,810 个已验证测试用例实例化 P-ContextBench。该流水线支持跨规模和人口群体的可配置生成。与个人智能体相关的、具有成本效益的最先进（SOTA）LLM 在时间跟踪、更高层次模式推断和约束感知的行动边界决策上准确率低于 60%，且在全部三次重复运行中正确回答的测试用例不足 10%。即使是表现优异的 SOTA 模型在这些能力上也仍不稳定。P-ContextBench 为提高基于 LLM 的个人智能体的准确性、可靠性和安全性提供了可衡量的目标。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40959 [cs.AI] |
| （或本版本的 arXiv:2610.40959v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.40959 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Isabel Song Dr. [查看电子邮件]
[v1]
2026年10月29日星期四 20:38:32 UTC（165 KB）
来源：arXiv cs.AI · arxiv.org