跳到正文
arXiv cs.AI· Hanjun Luo, Junting Mao, Yuhan Lu, Haobo Zhang, Zhimu Huang, Yankai Chen, Hanan Salam, Xue Liu·· 9 天前AI 评分27

Workerville:从组织行为视角研究 AI 智能体安全

Workerville: Towards an Organizational Behavior Account of Agent Safety

AI 导读

研究者提出以组织行为(OB)为框架研究先进 AI 智能体的安全,并将反生产工作行为(CWB)形式化为 Agentic Counterproductive Behavior(ACB),涵盖三类组织前因与三类反生产结果维度。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于 LLM 的智能体如今持续与环境交互,并受到用户指令、同伴消息和长期记忆等组织渠道的影响。现有安全研究已考察了这些影响,但大多将其视为彼此独立的智能体组件。这些因素如何从统一视角共同塑造智能体的安全行为,仍未被衡量。为弥合这一空白,我们主张将组织行为学(OB)作为研究高级智能体安全的框架,围绕智能体所处的关系结构重新组织研究对象、理论基础和实验设计。我们首次对反生产工作行为(CWB)——OB 中一个典型的安全相关子领域——进行了系统形式化,将其表述为智能体反生产行为(ACB)。ACB 规定了三种组织前因(纵向的上级关系、横向的同伴规范以及内部认知结构),并将其映射到三个反生产结果维度(未经授权的披露、破坏性操作和生产偏差)。为将 ACB 付诸实践,我们提出了 Workerville,一个在共享任务上操纵组织条件的受控基准,将 16 种组织配置应用于 210 项任务,产生 3,360 个挑战,并由经过人工验证的智能体评判器进行评估。对 6 个前沿 LLM 进行基准测试后,我们发现:(I)负面组织前因在组合时表现出非单调放大效应,未经授权披露率从无负面前因时的 16.5% 上升到两种负面前因时的 60.1%,并在三种负面前因时回落至 50.3%;(II)智能体会重现人类 CWB 研究所预测的典型行为模式;(III)这些结果确立了 OB 作为智能体安全研究的系统性框架,并指向一个新的研究议程。
学科: 人工智能(cs.AI)
引用为: arXiv:2610.11561 [cs.AI]
  (或 arXiv:2610.11561v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.11561

arXiv 颁发的 DOI 经由 DataCite(待注册)

提交历史

来自:Hanjun Luo [查看邮箱]
[v1] 2026年10月8日星期四 09:23:28 UTC(1,820 KB)

来源:arXiv cs.AI · arxiv.org