NVIDIA 论文提出 CPU-ARC:把 LLM 推理缓存为 CPU 代码,复用成本降低 16 到 291 倍
NVIDIA 论文 CPU-ARC:把 LLM 推理缓存为 CPU 代码,复用成本降低 16 到 291 倍
NVIDIA 论文提出 Agentic Reasoning Caching(CPU-ARC),让 LLM 把推理轨迹转成可执行代码,改写措辞或更换数字的变体问题可直接在 CPU 上复用,类似问题成本降低 16 到 291 倍。
Rohan Paul· @rohanpaul_ai · X·2026-11-22 00:24· 26 分钟前AI 评分58
AI 导读
NVIDIA 论文提出 Agentic Reasoning Caching(CPU-ARC),让 LLM 把推理轨迹转成可执行代码,改写措辞或更换数字的变体问题可直接在 CPU 上复用,类似问题成本降低 16 到 291 倍。
正文 · 原文
NVIDIA 的新论文发现,一旦 LLM 推理完一个问题,其解法就能以 CPU 代码的形式运行,用于改写措辞和更换数字后的版本。
从而以低 16 倍到 291 倍的成本回答类似问题。
LLM 每次都会从头重新求解每个问题,即使只是措辞或数字发生变化。智能体带着新数据发送相同指令时,每次都要为重复推理付费。
他们的方法让 Claude Opus 4.5 把推理轨迹转成小型 Python 函数,将可变的输入作为参数。运行时在 CPU 上执行,只在提取数值等小型文本任务上调用微调过的 1B 模型。
该缓存在 8 个数学和科学基准中的 7 个上达到或超过了源模型的准确率,在 AIME '25 上得分为 93.3%,而源模型为 83.3%。它处理了至少 90% 的改写措辞或更换数字的变体。
如果你的智能体整天用相同提示词处理新输入,就把推理缓存为代码,只在未命中时使用 LLM。
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news