arXiv cs.AI· Yewon Han, Jisu Jeon, Suhyun Choi, Juan Yeo, Minsoo Jo, Gihoon Kim, Hyunggyu Lim, Taesup Kim·· 3 天前AI 评分38
STOU：第一视角多模态助手安全评测基准，区分伤害对象而非只看拒答率
Safety for Whom? Benchmarking Understanding Beyond Refusal in Egocentric Multimodal Assistants
AI 导读
研究者提出 STOU 基准，包含 2,902 条第一视角视频-音频与视频-文本查询，按潜在伤害对象分为用户自身（Self）、同场他人（The Others）与社会整体（Others）。该评测将安全理解与拒答行为解耦，除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上，拒答率随伤害对象系统性变化，且模型常识别出风险仍继续提供帮助。
正文 · AI 翻译
摘要：以自我为中心的多模态助手通过用户的眼睛观察并指导用户下一步的行动，因此其输出会直接影响物理行为，包括那些会影响旁观者的行为。然而，现有的安全评估并未区分响应会伤害谁，仅对模型是否拒绝进行评分。将所有伤害汇总为一个拒绝率会掩盖两种失败：模型可能保护一个目标却不保护另一个目标，也可能在不理解风险的情况下拒绝，或者理解风险却仍然照做。我们提出了 STOU，一个包含 2,902 个以自我为中心的视频-音频和视频-文本查询的基准，其潜在伤害目标为用户（自我）、同处现场的个人（他人）或整个社会（其他）。我们的评估将安全理解与拒绝行为解耦：除拒绝外，我们还评估模型是否识别用户的意图、伤害的存在与目标及其下游后果。在 10 个开源和闭源的全模态与多模态 LLM 上，我们发现拒绝行为随伤害目标系统性地变化，且模型常常识别出伤害却仍然协助实施。这些结果表明，仅凭拒绝率无法证明助手是安全的，安全对齐必须考虑谁会受到伤害。项目页面：this https URL
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.17728 [cs.AI] |
| （或 arXiv:2610.17728v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17728 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yewon Han [查看邮箱]
[v1]
2026年10月13日星期二 05:05:10 UTC（41,105 KB）
来源：arXiv cs.AI · arxiv.org