跳到正文
热点事件持续更新

研究者提出LLM Complexity指标量化任务难度

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Yu-Hung Wu等作者提出 LLM Complexity 指标,用准确率-token 曲线所围面积量化任务难度。他们据此证伪了 token 用量与经典时间复杂度单调对应的假设。 不同 LLM 在该指标下给出高度一致的任务难度排序;据此构建由易到难的课程用于监督微调,可在提升准确率的同时降低 token 消耗。该指标在真实任务上的跨模型相关性也比人工标注难度标签更稳定。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    LLM Complexity:从计算复杂度视角理解大语言模型推理

    研究者提出 LLM Complexity 新指标,通过准确率-token 曲线所围面积量化任务难度,并证伪了 token 用量与经典时间复杂度单调对应的假设。不同 LLM 在该指标下给出高度一致的任务难度排序,据此构建的由易到难课程用于监督微调,可在提升准确率的同时降低 token 消耗。该指标在真实任务上的跨模型相关性也比人工标注难度标签更稳定。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。