arXiv cs.AI· Jingyue Cong, Estrid He, Zhuang Li, Nan Wu, Li Shen, Yameng Peng, Xinshu Li, Andy Song·· 3 天前AI 评分32
LatentRiskBench：衡量企业智能体的状态依赖风险
LatentRiskBench: Measuring State-Dependent Risks in Enterprise Agents
AI 导读
研究者提出 LatentRiskBench，用于评估企业智能体中依赖工作流状态的安全风险，即同一动作在不同上下文下可能合规也可能违规。实验显示，动作级评估仅能检出 0.09 的状态依赖违规，而状态级评估可达 0.96，现有护栏方法若不显式作用于工作流状态则基本无法覆盖此类风险。该基准已被 EMNLP 2026 Industry Track 接收，数据集与代码已公开。
正文 · AI 翻译
摘要：企业智能体面临无法仅从单个动作判断的安全风险。现有安全基准大多评估动作局部风险，忽视了安全性取决于工作流状态的失效情形。在这类状态依赖风险中，同一动作在一种情境下可能安全，在另一种情境下却违反策略。因此，我们提出 LatentRiskBench，用于评估企业场景中的此类状态依赖风险。它将风险轨迹与良性对照轨迹配对，二者共享相同的终端动作，但在潜在策略相关状态上有所不同，要求模型重建工作流上下文，而非依赖动作级线索。我们还引入了用于状态依赖风险评估的新指标，包括一套残余风险（RR）度量。在该基准上的实验表明，动作级评估仅能检测出 0.09 的状态依赖违规，而状态级评估可达 0.96。现有防护栏方法大多忽视此类风险，除非将其显式应用于工作流状态。对某商业部署场景的案例研究进一步表明，该基准中嵌入的安全指标为企业智能体提供了更贴近实际的安全度量。我们的数据集和代码可在 此 https URL 获取。
| Comments: | 已被 EMNLP 2026 Industry Track 接收。18 页，3 幅图 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.17685 [cs.CL] |
| （或使用 arXiv:2610.17685v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17685 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Jingyue Cong Miss [查看邮箱]
[v1]
2026年10月13日星期二 04:07:44 UTC（297 KB）
来源：arXiv cs.AI · arxiv.org