arXiv·· 13 天前AI 评分35
RAISED:用自蒸馏提升 LLM 智能体对提示词注入的鲁棒性
RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents
AI 导读
RAISED 提出用自蒸馏让 LLM 智能体在抵御间接提示词注入的同时保持通用能力。研究指出,基于训练的防御会让模型输出分布发生显著漂移,在良性场景下也改变行为,从而可能造成能力退化;同时这类防御还存在一种失败模式:在良性工具使用任务中,模型会拒绝执行完成授权任务所需的步骤。
来源:arXiv · arxiv.org