跳到正文
arXiv cs.AI· Hao Chen, Wenhui Dong, Ye Chen, Jiezhi Yao, Chenbo Xia, Yuwen Qu, Renxiang Wang, Fudong Yuan, Camil Hamami, Chenglong Pan, Xinquan Yue, Ziyu Wang, Fengyu Ye, Chenyang Si, Caifeng Shan·· 12 小时前AI 评分40

CoSec:评估 LLM 智能体在社区环境中的安全性基准

CoSec: Benchmarking Agent Security in Communities

AI 导读

研究者提出 CoSec,一个可执行基准,用于评估 LLM 智能体在社区内及跨社区运行时的隐私与授权执行情况。该基准包含 208 个典型场景,覆盖固定与演变的社区边界,以及通过对话、环境内容、持久记忆和组合工作流发起的攻击。测试显示智能体常能完成良性任务,却违反隐私与授权边界,任务效用并不等于合规。

正文 · AI 翻译

作者:Hao Chen、Wenhui Dong、Ye Chen、Jiezhi Yao、Chenbo Xia、Yuwen Qu、Renxiang Wang、Fudong Yuan、Camil Hamami、Chenglong Pan、Xinquan Yue、Ziyu Wang、Fengyu Ye、Chenyang Si、Caifeng Shan

查看 PDF HTML(实验性)

摘要:LLM 智能体运行在涉及多个用户、社区、记忆、文件和工具的持久协作环境中。社区边界可能保持固定,也可能随成员、角色、构成和关系的变化而演变。智能体必须完成合法任务,并防止未经授权披露受保护信息。现有评估并未充分考察智能体系统中的这些风险。我们提出 \textbf{CoSec},这是一个可执行基准,用于评估在社区内部及跨社区运行的 LLM 智能体系统中的隐私与授权执行情况。CoSec 包含 208 个典型场景,涵盖固定和演变的边界、属于智能体所有者或其他参与者的受保护信息,以及通过对话、环境内容、持久记忆和组合工作流发起的攻击。CoSec 执行具有持久会话、记忆、文件和工具的完整智能体系统。它利用执行轨迹和产物,依据当前授权状态验证信息流。在不同的测试框架和模型配置下,智能体经常完成良性任务,却违反隐私和授权边界。隐私行为因测试框架、攻击面和社区状态而异,揭示了记忆、文件、工具和工作流如何能将受保护信息带出其授权范围。这些发现表明,任务效用并不意味着隐私或授权合规,而社区环境中的授权仍然是持久 LLM 智能体面临的一个未解决的安全挑战。
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2609.34790 [cs.CR]
  (或 arXiv:2609.34790v4 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.34790

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Hao Chen [查看电子邮件]
[v1] 2026年9月28日星期一 10:00:05 UTC(707 KB)
[v2] 2026年9月29日星期二 04:44:54 UTC(1,099 KB)
[v3] 2026年10月19日星期一 14:30:19 UTC(708 KB)
[v4] 2026年10月21日星期三 03:27:50 UTC(708 KB)

来源:arXiv cs.AI · arxiv.org