arXiv cs.AI· Xinyang Liao, Lingyu Li, Kaicheng Shen, Yang Yao, Na Lu, Yan Teng, Xia Hu·· 3 天前AI 评分39
CompanionSafe：从多轮安全评估到 AI 伴侣护栏
CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions
AI 导读
研究团队提出 CompanionSafe 统一框架，包含多轮评估组件 CompanionEval 与护栏组件 CompanionGuard。CompanionEval 基于多样人设、匹配伴侣角色和对话场景构建 1300 个关系化多轮评估设置，覆盖四个轮次层级；CompanionGuard 将基准暴露的失败转化为轮次定位监督，用于伴侣特定风险检测。
正文 · AI 翻译
摘要：AI 伴侣为用户提供情感支持和持续陪伴，但其持续的关系互动也带来了独特的安全风险。以往工作大多针对一般性危害或特定的伴侣平台和风险类别，且依赖人工收集的对话，限制了可扩展且基于用户的评估与缓解。为解决这一问题，我们提出了 CompanionSafe，一个面向 AI 伴侣安全的统一评估到缓解框架。其评估组件 CompanionEval 通过从多样化人物角色、匹配的伴侣角色和对话场景中构建 1,300 个基于关系的设置，覆盖四个轮次层级，提供可扩展的多轮评估。其缓解组件 CompanionGuard 将基准测试暴露的失败转化为轮次定位的监督信号，用于伴侣特定风险检测。我们的结果表明，即使是强大的 LLM 和现有防护模型也仍然容易受到伴侣特定关系伤害的影响，而闭源和开源模型都随着交互变长而表现出日益增加的安全风险。CompanionEval 和 CompanionGuard 共同构成了一个面向 AI 伴侣安全的实用评估到缓解循环，将多轮交互中暴露的关系安全失败转化为伴侣特定防护栏的监督信号。
| 评论： | 40 页，33 幅图，代码和数据集可在 此 https URL 获取 |
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.18095 [cs.AI] |
| （或 arXiv:2610.18095v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18095 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xinyang Liao [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 10:13:07 UTC（3,859 KB）
来源：arXiv cs.AI · arxiv.org