arXiv cs.CL· Jarrod Ragsdale, Rajendra Boppana·· 11 小时前AI 评分20
小语言模型 shell 输出模拟的模板缺口重建（TGR）
Template Gap Reconstruction for Shell Output Simulation with Small Language Models
AI 导读
研究者提出模板缺口重建（TGR），用可复用输出字面量加哨兵标记、由自回归生成填补缺口，并训练模板选择器与五个基于不同小语言模型检查点的重建模型。在 1870 万条异构执行环境输出构建的模板库上评测，当最优模板覆盖率超过 25% 时，TGR 的输出编辑相似度（O-ES）优于全输出解码（FOD）；短缺口序列下两者 O-ES 分别为 0.964 和 0.812。
正文 · AI 翻译
摘要：小型语言模型为 shell 模拟提供了紧凑的基础，无需执行提交的命令，但完整输出解码要求它们预测重复出现的实用工具结构，以及在不同执行之间变化的内容。我们引入了模板间隙重建（TGR），它提供可复用的输出字面量，并穿插以哨兵标记，与自回归生成的间隙交错。模板选择器选择要重建的模板，空模板保留完整输出解码。我们从跨异构执行环境收集的 1870 万个输出中构建模板库，并在排除于模板库构建之外的目标环境上，训练一个模板选择器和五个重建模型，这些模型从各种小型语言模型检查点初始化。评估表明，当最优模板覆盖模板的 25\% 以上时，TGR 相比完整输出解码（FOD）提高了输出编辑相似度（O-ES），而对于覆盖率较低的输出，表现相似。此外，TGR 在较短的间隙序列上优于 FOD，O-ES 值分别为 0.964 和 0.812，而在较长序列上保持相似性能。TGR 在所使用的分词器系列中将生成的 token 数量减少了 26.3--38.3\%。这些结果支持将可复用的输出结构作为小型 shell 模拟器的实用设计选择，提高响应保真度并缩短生成目标，同时保持模板选择和残差预测对响应质量的核心作用。
| 评论： | 25 页，7 幅图，12 张表，会议预印本 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06731 [cs.LG] |
| （或 arXiv:2611.06731v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06731 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jarrod Ragsdale [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 16:17:28 UTC（1,135 KB）
来源：arXiv cs.CL · arxiv.org