Apple 提出 SSR：基于选择的结构化推理，让多模态搜索智能体更高效
Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
Apple 提出 Selection-based Structured Reasoning（SSR）框架，将推理从开放式生成改为从预设自然语言候选推理中按似然度选择，无需辅助任务头，并借助共享上下文 KV cache 并行打分。在 2B 和 4B 模型、七个多模态搜索基准上，SSR 平均成功率与同规模领先搜索智能体相当，单轮推理延迟降低超 90%，每题模型总推理延迟降低 28–54%。
作者Feiyu Gavin Zhu†**、Xiaoyu Zhu、Jiqi Yang、Rui Yang‡***、Arnab Kumar Mondal、Yancheng Wang、Xinke Deng、Jean Oh†、Reid Simmons†、Joerg Liebelt、Xiang Kong、Zhongyu Jiang
多模态智能体通常在每个动作之前生成自由形式的推理。对于小型模型而言，有限的模型容量可能导致冗长的推理，这些推理对动作生成几乎没有提供有用的指导，同时带来大量的推理成本。为应对这一挑战，我们提出了基于选择的结构化推理（SSR），一个将推理重新表述为选择而非开放式生成的框架。SSR 将反复出现的高层推理表示为预先指定的、可复用的自然语言候选。在每一轮中，模型根据当前上下文下各推理候选的似然度从中进行选择，而无需辅助任务头。使用预先指定的推理轨迹可实现并行评分，其中教师强制预填充利用共享的上下文 KV 缓存，在候选内部及候选之间并发计算 token 似然度。我们在七个多模态搜索基准上使用 2B 和 4B 模型评估了 SSR。在多种强化学习目标和监督微调下，SSR 在不牺牲任务性能的情况下带来了显著的效率提升。SSR 的平均成功率与同规模的领先搜索智能体相当，同时将每轮推理延迟降低超过 90%，并将每个问题的模型总推理延迟降低 28–54%。
- † 卡内基梅隆大学
- ‡ 伊利诺伊大学厄巴纳-香槟分校
- ** 部分工作于 Apple 期间完成
- *** 工作于 Apple 期间完成
相关阅读与更新。
大型语言模型可以表现出涌现的推理行为，通常表现为反复出现的词汇模式（例如，“wait”，表示验证）。然而，在无约束采样中，复杂的推理轨迹仍然稀疏，而标准 RL 往往无法保证获得多样化的推理行为。我们提出通过结构化推理系统地发现和强化多样化的推理模式，这一范式……
长思维链（CoT）显著增强了大型语言模型（LLM）的推理能力。然而，大量的推理轨迹导致效率低下以及首 token 时间（TTFT）增加。我们提出了一种新颖的训练范式，使用强化学习（RL）引导推理 LLM 为多跳问题交错进行思考和回答。我们观察到模型本身具备执行交错……的能力
来源：Apple Machine Learning Research · machinelearning.apple.com