arXiv cs.CL· Yu-Hung Wu, Shao-Xiang Yuan, Chan-Hung Yu, Zih-Ching Chen, Kuan-Hao Huang, Shao-Hua Sun·· 10 小时前AI 评分34
LLM Complexity:从计算复杂度视角理解大语言模型推理
LLM Complexity: Towards a Computational Complexity View of Large Language Model Inference
AI 导读
研究者提出 LLM Complexity 新指标,通过准确率-token 曲线所围面积量化任务难度,并证伪了 token 用量与经典时间复杂度单调对应的假设。不同 LLM 在该指标下给出高度一致的任务难度排序,据此构建的由易到难课程用于监督微调,可在提升准确率的同时降低 token 消耗。该指标在真实任务上的跨模型相关性也比人工标注难度标签更稳定。
正文 · AI 翻译
摘要:计算复杂性理论为刻画计算问题的效率提供了一个有原则的框架,而大型语言模型(LLM)同样可以被视为执行由输入、推理时计算和输出构成的结构化过程的计算系统。在此背景下,生成的 token 数量成为推理时计算的一个自然且可直接观测的代理指标。然而,我们表明,LLM token 长度与经典时间复杂性之间看似诱人的类比并不成立。我们否证了推理时 token 使用量与经典时间复杂性单调一致的假设,并证明这种根本性分歧源于 LLM 在推理过程中实际分配计算的方式。为此,我们引入 LLM Complexity,一种新指标,旨在从 LLM 的视角通过刻画准确率-token 曲线所围成的上方区域来量化问题复杂性。我们发现,不同的 LLM 在 LLM Complexity 下产生高度一致的任务排序,表明该指标捕捉到了跨模型稳定的难度概念。我们利用这一性质构建了一个由易到难的课程用于监督微调,在提高准确率的同时减少了 token 消耗。最后,我们证明 LLM Complexity 可推广到真实世界任务,产生比人工标注难度标签更稳定的跨模型相关性。
| 评论: | 10 页,含附录 20 页 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24943 [cs.CL] |
| (或 arXiv:2611.24943v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24943 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yu-Hung Wu [查看电子邮件]
[v1]
2026年10月19日星期一 08:23:11 UTC(481 KB)
来源:arXiv cs.CL · arxiv.org