arXiv cs.AI· Youwei Bao, Chengpeng Wang, Simin Chen·· 13 小时前AI 评分34
论文提出在智能体内核生成中强制实施批次不变性
God Does Not Play Dice: Enforcing Batch Invariance in Agentic Kernel Generation
AI 导读
针对 LLM 服务动态批处理导致同一请求输出不可复现的问题，研究者在 83 个可批处理已发布产物中确认了 19 例批次不变性（BI）违规。为此提出一种结合契约引导静态依赖分析与跨批次上下文按位一致性动态验证的工具，作为通用内核智能体的插件，将 BI 通过率从 67.6% 提升至 91.9%，同时保留基线几何平均加速比的 91.8%。
正文 · AI 翻译
摘要：大语言模型（LLM）服务系统会动态地将用户请求批处理以在 GPU 上执行，因此同一请求在不同运行中可能与不同的请求一起被处理。如果 GPU 内核缺乏批处理不变性（BI），这种不断变化的批处理上下文可能会改变未变输入的数值输出，从而破坏可复现性。现有的内核生成智能体关注正确性和效率，但\emph{忽视了 BI}。我们在 83 个已发布且适用于批处理的产物中发现了 19 个已确认的 BI 违规。为解决这一局限，我们提出了 \tool，它将契约引导的静态依赖分析与跨批处理上下文的位级一致性动态验证相结合。\tool 被设计为通用内核智能体的插件组件，使其原有的优化能力得以复用，同时增加 BI 强制执行。我们将其作为优化循环中的连续验收关卡集成，在性能基准测试之前拒绝结构上有风险或动态上非不变的候选，并向智能体返回反馈。在真实世界 LLM 服务任务上，对三种智能体框架在基线和 BI 感知生成下的实验表明，\tool 将 BI 通过率从 67.6\% 提升至 91.9\%，同时保留了基线几何平均加速比的 91.8\%。这些结果表明，\tool 可以作为与正确性和速度并列的额外可靠性目标，被智能体纳入内核优化中。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.36623 [cs.AI] |
| （或 arXiv:2610.36623v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36623 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Simin Chen [查看电子邮件]
[v1]
2026年10月27日星期二 04:27:11 UTC（13,091 KB）
来源：arXiv cs.AI · arxiv.org