跳到正文
arXiv cs.CL· Yu-Hung Wu, Shao-Xiang Yuan, Chan-Hung Yu, Zih-Ching Chen, Kuan-Hao Huang, Shao-Hua Sun·· 10 小时前AI 评分34

LLM Complexity:从计算复杂度视角理解大语言模型推理

LLM Complexity: Towards a Computational Complexity View of Large Language Model Inference

AI 导读

研究者提出 LLM Complexity 新指标,通过准确率-token 曲线所围面积量化任务难度,并证伪了 token 用量与经典时间复杂度单调对应的假设。不同 LLM 在该指标下给出高度一致的任务难度排序,据此构建的由易到难课程用于监督微调,可在提升准确率的同时降低 token 消耗。该指标在真实任务上的跨模型相关性也比人工标注难度标签更稳定。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:计算复杂性理论为刻画计算问题的效率提供了一个有原则的框架,而大型语言模型(LLM)同样可以被视为执行由输入、推理时计算和输出构成的结构化过程的计算系统。在此背景下,生成的 token 数量成为推理时计算的一个自然且可直接观测的代理指标。然而,我们表明,LLM token 长度与经典时间复杂性之间看似诱人的类比并不成立。我们否证了推理时 token 使用量与经典时间复杂性单调一致的假设,并证明这种根本性分歧源于 LLM 在推理过程中实际分配计算的方式。为此,我们引入 LLM Complexity,一种新指标,旨在从 LLM 的视角通过刻画准确率-token 曲线所围成的上方区域来量化问题复杂性。我们发现,不同的 LLM 在 LLM Complexity 下产生高度一致的任务排序,表明该指标捕捉到了跨模型稳定的难度概念。我们利用这一性质构建了一个由易到难的课程用于监督微调,在提高准确率的同时减少了 token 消耗。最后,我们证明 LLM Complexity 可推广到真实世界任务,产生比人工标注难度标签更稳定的跨模型相关性。
评论: 10 页,含附录 20 页
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.24943 [cs.CL]
  (或 arXiv:2611.24943v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24943

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yu-Hung Wu [查看电子邮件]
[v1] 2026年10月19日星期一 08:23:11 UTC(481 KB)

来源:arXiv cs.CL · arxiv.org