arXiv cs.CL· Ruohao Guo, Wei Xu, Alan Ritter·· 12 小时前AI 评分34
研究揭示 LLM 多轮对话中的危害放大效应，并提出 TrajSafe 监控方案
Investigating and Alleviating Harm Amplification in LLM Interactions
AI 导读
研究者提出 HarmAmp 基准，覆盖十二类风险场景，用于评测 LLM 在多轮对话中逐步放大危害的问题。同时提出主动监控器 TrajSafe，通过探查用户真实意图并将模型引导至更安全的回答来提前干预有害轨迹。实验显示 TrajSafe 显著降低多轮交互中的危害性，同时保持较低的过度拒答率和目标模型的通用能力。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以作为有用的助手，但它们同样可以充当危害放大器，使恶意用户能够通过长时间交互实现超出自身能力的有害结果。这种风险体现在两个维度上，即让领域专业知识民主化，使新手能够生成专业化的有害内容；以及以人工努力无法匹敌的规模扩展有害操作。然而，现有工作往往忽视 LLM 如何在多轮对话中叠加危害。我们提出 HarmAmp，一个涵盖十二个风险类别的多轮危害放大场景新基准。每个场景都以现实世界威胁为基础，并满足严格标准，即实质性放大、操作具体性和多轮必要性。我们进一步提出 TrajSafe，一种主动监控器，可预判有害轨迹，并通过探测用户真实意图、引导模型走向更安全的完成等行动进行干预。我们的大量实验表明，TrajSafe 显著降低了多轮交互中产生的危害性，同时保持较低的过度拒绝率和目标模型的通用能力。我们的工作为缓解 LLM 交互中细微的安全风险提供了一种有前景的范式。
| 注释： | 已被 EMNLP 2026 主会议接收 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.02423 [cs.CL] |
| （或 arXiv:2606.02423v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.02423 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruohao Guo [查看电子邮件]
[v1]
2026年6月1日星期一 16:01:37 UTC（729 KB）
[v2]
2026年10月26日星期一 01:24:25 UTC（743 KB）
来源：arXiv cs.CL · arxiv.org