arXiv cs.AI· Shihua Yu, Yanzhi Wang, Tianchi Chen·· 3 天前AI 评分20
递归专家计算的粗粒化：延续相对接口与失效模式
Coarse-Graining Recursive Expert Computation: Continuation-Relative Interfaces and Failure Modes
AI 导读
研究提出延续相对评估框架，用下游任务质量与总执行成本联合判断能否用廉价模块替换一段计算，并区分边界表示、被跳过计算的摘要、实际执行操作与下游损失。在 17 亿参数模型上，用 next-token-loss 训练比重建被跳过模块输出使分布内负对数似然降低 0.1901 nats/token，但该排序在全部九组分布偏移配对比较中反转。
正文 · AI 翻译
摘要：计算粗粒化旨在用更廉价的模块替换一系列更新，同时保持任务性能。我们提出一个延续相对评估框架，通过替换之后所进行的计算来评估替换，以下游任务质量和总执行成本作为联合标准。该框架区分边界表示、被跳过计算的摘要、已执行操作和下游损失。它使接口和允许的部署信息显式化，将精细路径参考与使用相同缩短架构直接训练的对照相结合，并计入选择开销。精确的损失分解将固定下游动作处的替换效应与改变该动作的效应分离开来。一个有限构造展示了在固定信息和控制器限制下，保留的信息如何降低零误差预测的规定成本。在两个冻结的预训练语言模型上的实验表明，表示保真度和任务损失可能偏好不同的拟合目标。在一个 17 亿参数模型上的预先指定比较中，与重建被跳过块的输出相比，使用相同的优化器和更新次数，下一词元损失训练将分布内负对数似然每评分词元降低 0.1901 nats。在分布偏移下，这一排名在所有九组配对比较中均发生反转。在一个递归专家原型中，联合适配的候选相对于冻结库和仅路由器基线降低了任务误差，但落后于直接训练的对照，并且所测试的仅输入选择器未能通过联合质量-成本标准。总之，该协议和研究为在指定接口和评估设置内区分有用的计算替换与局部近似增益提供了明确的标准和诊断方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算复杂性（cs.CC）；计算工程、金融与科学（cs.CE） |
| 引用为： | arXiv:2610.14413 [cs.LG] |
| （或 arXiv:2610.14413v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14413 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tianchi Chen [查看电子邮件]
[v1]
2026年10月10日星期六 00:21:04 UTC（313 KB）
来源：arXiv cs.AI · arxiv.org