arXiv cs.AI· Siyue Chen, Yifu Guo, Yuquan Lu, Zishan Xu, Jiaye Lin, Jianbo Lin, Siyu Zhang, Cheng Yang, Junxin Li, Yujia Li, Yu Huo, Ruixuan Wang·· 3 天前AI 评分33
LLM 代码推理的内部生命周期：从"酝酿"到四种解析结果
From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs
AI 导读
研究提出双诊断框架，结合逐层线性探针与 Context-Stripped Decoding（CSD），在 Qwen、Llama、DeepSeek 等 16 个模型、六类代码推理任务上追踪代码推理的内部生命周期：模型先"酝酿"答案，使其在可自解码前多个层即可线性恢复，随后分化为 Resolved、Overprocessed、Misresolved、Unresolved 四种结果。
正文 · AI 翻译
作者：Siyue Chen、Yifu Guo、Yuquan Lu、Zishan Xu、Jiaye Lin、Jianbo Lin、Siyu Zhang、Cheng Yang、Junxin Li、Yujia Li、Yu Huo、Ruixuan Wang
摘要：标准准确率指标无法解释为什么 LLM 能处理变量追踪，却在语义等价的循环上失败。我们研究了代码推理的内部生命周期：模型首先酝酿答案，使其在变得可自解码之前的许多层就可被线性恢复，然后分化为四种解析结果之一：已解析、过度处理、错误解析或未解析。理解这一生命周期很重要，因为相似的任务准确率可能掩盖了表面评估无法检测的根本不同的失败模式。我们引入了一个双重诊断框架，将逐层线性探测与上下文剥离解码（CSD）配对，并将其应用于 16 个模型（涵盖 Qwen、Llama 和 DeepSeek 架构）的六个代码推理任务族。所有四种结果在每个任务族中都占有相当大的比重：总体已解析仅为 41.5%，多个任务低于 30%。对结构、深度和运算符的受控扫描揭示了任务特定的失败瓶颈：随着调用深度从一增加到三，函数调用已解析率从 61.1% 骤降至 2.5%。跨架构和规模，酝酿支架保持稳定，所有 16 个模型的归一化酝酿时长为 24-42%，而解析成功率随能力变化。这表明该支架在所测试的仅解码器 Transformer 系列中是一种稳定的经验规律，而解析成功率则与能力、规模和训练协变。代码：此 https URL
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.17648 [cs.AI] |
| （或 arXiv:2606.17648v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.17648 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yifu Guo [查看电子邮件]
[v1]
2026年6月16日星期二 08:06:50 UTC（1,300 KB）
[v2]
2026年8月26日星期三 08:06:56 UTC（1,285 KB）
[v3]
2026年10月11日星期日 03:37:01 UTC（2,437 KB）
来源：arXiv cs.AI · arxiv.org