跳到正文
arXiv·· 13 天前AI 评分35

RAISED:用自蒸馏提升 LLM 智能体对提示词注入的鲁棒性

RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents

AI 导读

RAISED 提出用自蒸馏让 LLM 智能体在抵御间接提示词注入的同时保持通用能力。研究指出,基于训练的防御会让模型输出分布发生显著漂移,在良性场景下也改变行为,从而可能造成能力退化;同时这类防御还存在一种失败模式:在良性工具使用任务中,模型会拒绝执行完成授权任务所需的步骤。

来源:arXiv · arxiv.org