arXiv·· 13 天前AI 评分38
良性技能组合如何诱发智能体恶意行为:Runaway Reaction 研究
Runaway Reaction: When Benign Skills Compose into Malicious Behavior
AI 导读
研究发现,将各自通过安全审查的良性 Agent 技能直接组合,即可让智能体产生单个技能都不具备的恶意行为,现有孤立评估方式因此存在盲区。该工作指出组合会扩展智能体的能力空间,并将此类风险命名为 Runaway Reaction。
来源:arXiv · arxiv.org