arXiv cs.AI· Xiaolong Li, Xiaohan Xu, Jinyang Li, Xinnuo Xu, Ge Qu, Nan Huo, Jack Williams, Reynold Cheng·· 9 天前AI 评分31
GenUI-Harness：面向主动交互的数据感知生成式 UI 框架
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
AI 导读
GenUI-Harness 是一个多智能体框架，由负责信息检索与任务执行的 Tool Agent 和生成结构化界面前端代码的 GUI Coder Agent 组成，并配套 Dynamic UX 沙盒与 Reward Auditor 元奖励机制。
正文 · AI 翻译
摘要：如今，大多数人类与智能体的交互仍基于文本。自然语言可能带来认知过载、歧义、信息混乱，以及复杂任务中输入缓慢的问题；而临时生成的生成式 UI 可以呈现结构化信息，并引导用户完成任务。我们提出 GenUI-Harness，一种多智能体框架，将负责信息检索与任务执行的 Tool Agent 与负责识别歧义并生成结构化界面前端代码的 GUI Coder Agent 配对。用强化学习训练该编码器颇具挑战：交互式 UI 生成的可验证奖励需要高昂的执行成本，而 LLM-as-a-Judge 奖励容易产生奖励黑客问题。我们通过 Dynamic UX 解决第一个挑战，这是一个用于在单一沙箱中进行动态交互与奖励收集的轻量级包；并通过 Reward Auditor 解决第二个挑战，这是一种元奖励机制，用于监控奖励分布，并将诊断模式提炼为共享评分标准和评分规范。我们提出 UI-TAU Bench，这是一个通过生成的 UI 代码进行主动人机交互的基准，构建于 10 个由公开数据源构建的真实世界领域数据库之上，并基于 Tau-Bench 工具使用设置，包含 Lite（300 个任务）和 Full（1,000 个任务）两个划分。GenUI-Harness 在 Lite 上相较 smolagents 平均 Pass@3 提升 4.48 个百分点。使用 GenUI-Harness 训练将 4B 主干模型从 9.33% 提升至 58.00% Pass@3，优于 Claude Opus 5（46.67%）等更大的前沿模型。GenUI-Harness 在模糊和非模糊查询上也保持稳健。在一项比较沟通渠道的评审调查中，生成的 UI 将平均对话轮次从 3.4 降至 1.2。这些结果表明，数据感知的生成式界面可以支持有效完成任务，并在所评估的数据库支持工作流中减少对话轮次。
| 评论： | 35 页，7 幅图。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11123 [cs.AI] |
| （或 arXiv:2610.11123v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11123 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaolong Li [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 02:49:35 UTC（979 KB）
来源：arXiv cs.AI · arxiv.org