跳到正文
arXiv cs.AI· Bingyu Bai, Cheng Zhang, Erhu Feng·· 11 小时前AI 评分36

复用、重写还是丢弃:面向重复移动 GUI 控制的证据约束执行轨迹复用

Reuse, Rewrite, or Reject: Evidence-Constrained Trace Reuse for Repeated Mobile GUI Control

AI 导读

研究者提出 graph-text 模板实现移动 GUI 智能体的选择性执行轨迹复用,在 AndroidWorld 上对五个基础智能体平均减少约 80% 的 LLM 推理 token 消耗,多数智能体执行速度提升至少 1.5 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:移动 GUI 智能体经常执行交互流程相似的重复任务。复用先前的执行可以减少冗余的 LLM 推理和执行开销,但用户指令和执行环境的变化可能使先前成功的操作失效。我们将这些变化系统地归纳为六个代表性类别,并观察到此类变化并不一定会使整个流程失效:当针对当前任务上下文和界面状态进行验证时,单个转换仍可保持可复用性。基于这一洞察,我们提出了用于选择性复用执行轨迹的图-文本模板。图捕获 UI 状态和动作转换,文本则编码任务意图、流程结构以及用于可变内容的有类型槽位。记录-模板-重放框架从已验证的执行中构建模板,并利用当前指令和实时 UI 状态来复用、调整或丢弃单个转换。给定一条执行轨迹,我们的框架在 AndroidWorld 上的五个基础智能体上平均将 LLM 推理 token 消耗降低约 80%,大多数智能体相比仅使用 LLM 的执行实现了至少 1.5 倍的加速。在 Android 和 HarmonyOS 上的真机评估中,我们的框架实现了 70.7-79.8% 的动作复用率,同时在大多数评估配置下保持了 2 倍以上的执行加速。
主题: 软件工程(cs.SE);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2610.31712 [cs.SE]
  (或 arXiv:2610.31712v1 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.31712

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Bingyu Bai [查看电子邮件]
[v1] 2026年10月22日星期四 03:09:20 UTC(466 KB)

来源:arXiv cs.AI · arxiv.org