跳到正文
arXiv cs.AI· Songping Wang, Peiyang Li, Yi Huang, Fengting Li, Xuhao Ran, Yueming Lyu, Chao Feng, Caifeng Shan·· 11 小时前AI 评分44

MobileInject:评估跨模态一致性注入下 MLLM 移动智能体的推理到行动安全

MobileInject: Evaluating Reasoning-to-Action Security of MLLM-Based Mobile Agents under Cross-Modal Consistency Injection

AI 导读

研究者提出 MobileInject,首个评估 MLLM 移动智能体多模态注入攻击与推理到行动安全风险的基准,覆盖 11 个场景、9 类安全风险和 108 个可执行风险实例。该基准引入跨模态一致性注入,并配套多角色协同欺骗与推理伪装注入两种增强攻击方法,以及推理安全诊断框架。系统实验显示移动智能体普遍易受多模态注入攻击,许多失败源于早期阶段的推理劫持。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于多模态大语言模型(MLLM)的移动智能体正迅速从对话助手演变为能够感知、推理并作用于智能手机环境的自主系统。这一能力也带来了新的安全风险:攻击者可以在跨应用移动内容中嵌入恶意目标,并通过间接多模态注入操控智能体行为。尽管提示注入已在桌面和网络环境中得到研究,但其在移动生态系统中的跨模态特性仍鲜为人知,现有安全分析也仍然有限。为填补这一空白,我们推出 MobileInject,这是首个用于评估移动智能体面对多模态注入攻击与推理到行动安全风险的基准。MobileInject 提供高保真交互式移动评估框架,涵盖 11 个场景、9 个安全风险类别和 108 个可执行风险实例。它还引入跨模态一致性注入以利用跨模态相互印证,引入两种增强攻击方法——多角色协作欺骗与推理伪装注入——以强化信任操纵和推理劫持,并引入推理安全诊断框架进行细粒度失败分析。系统实验表明,移动智能体普遍易受多模态注入影响,且许多失败源于早期阶段的推理劫持。这些发现确立了 MobileInject 作为系统性跨模态基准的地位,用于研究和改进移动智能体的安全性。代码发布详情见附录开放科学部分。
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2610.23307 [cs.CR]
  (或 arXiv:2610.23307v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.23307

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Songping Wang [查看电子邮件]
[v1] 2026年10月16日星期五 11:10:30 UTC(5,933 KB)

来源:arXiv cs.AI · arxiv.org