arXiv cs.CL· Jiantang Huang·· 11 小时前AI 评分39
更短不等于更便宜：LLM 生成解释中声明式动画规格与自由代码的受控对比
Shorter Is Not Cheaper: A Controlled Comparison of Declarative Animation Specifications and Free-Form Code for LLM-Generated Explanations
AI 导读
研究对比了 LLM 生成动画解释的两种格式，发现声明式规格虽使答案 token 缩短 25-48%，但开启推理后仅最大的 Claude 模型总输出显著下降，且没有模型生成更快。
正文 · AI 翻译
摘要：聊天助手越来越多地以交互式动画讲解来回答概念性问题，这些讲解要么以自由形式的 HTML/JavaScript 生成，要么以声明式规范生成、由固定运行时播放。人们普遍预期声明式路线更便宜、更快、更可靠，因为其输出更短且受约束。我们在受控比较中检验这一预期，其假设与分析方案在运行前已冻结。我们设计了 ExplainSpec——一种按时间索引的声明式动画格式，以及一个观察契约，使每个生成的讲解都可被程序化检查；经过验证、与节奏无关的检查器对来自五个领域的 20 个讲解请求进行评分。三个 Claude 模型（360 个任务）以及后续的开放权重 Qwen3-14B（分别启用和禁用思考，240 个任务）以两种格式回答了每个请求。对每个模型而言，规范在答案 token（不含推理的输出）上短 25-48%，但在启用推理时，总输出仅对最大的 Claude 模型显著下降，且没有模型生成显著更快。原因各不相同。Claude 模型在编写规范前进行了多得多的推理（探索性；对两个较大的模型，从 15-20% 升至 85-88% 的生成）。Qwen3-14B 在两种格式下的推理量大致相当（对这一变化的预注册检验未获支持），而其更短的答案相对于长逾两倍的推理轨迹节省甚微。规范也并未更可靠：对每个模型，自由形式页面在一轮修复后于 95-100% 的任务中有效，而 Qwen3-14B 仅在 33% 的任务中生成有效规范，并在 17% 中通过所有语义测试（HTML/JavaScript：62%）。因此，对推理模型而言，仅靠更短的格式并不能使生成更便宜、更快或更可靠，而在上下文中习得的格式可能以可靠性为代价。
| 评论： | 15 页，6 幅图，8 张表 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.32129 [cs.CL] |
| （或 arXiv:2610.32129v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32129 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiantang Huang [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 03:56:19 UTC（105 KB）
来源：arXiv cs.CL · arxiv.org