arXiv cs.AI· Chanseul Cho, Jaesung Jun, Dongheon Lee, Youngmin Ro·· 10 小时前AI 评分22
注意力图熵值决定何时推理：面向推理分割的免训练难度感知 CoT 框架 DA-CoT
Attention Maps Know When to Think: Training-Free Difficulty-Aware Chain-of-Thought for Reasoning Segmentation
AI 导读
研究者提出免训练自适应框架 DA-CoT，利用模型注意力图熵值判断输入难度，仅在低置信度时触发 Chain-of-Thought 提示，避免多模态大模型在推理分割任务中的过度推理问题。
正文 · AI 翻译
摘要：思维链（Chain-of-Thought，CoT）提示已成为多模态大语言模型（MLLMs）中的标准推理策略，在推理分割等复杂视觉-语言任务中展现出强劲性能。然而，我们的分析表明，不加区分地使用 CoT 会因引入不必要的推理而导致性能下降，我们将这一现象称为过度思考（overthinking）。在推理分割中，过度思考往往导致查询意图与视觉定位之间的错位。为解决这一问题，我们提出了难度感知思维链（Difficulty-Aware Chain-of-Thought，DA-CoT），这是一个无需训练的自适应框架，根据输入的内在难度选择性地触发 CoT。我们发现，模型注意力图的熵能够可靠地反映任务难度：低熵表示置信且局部的定位，而高熵则表明存在不确定性，并可能从 CoT 中获益。DA-CoT 利用这一熵信号来决定是否应用 CoT 提示。此外，我们引入了一种双向反思（Bidirectional Rethinking）机制，使模型在初始输出失败时能够自动翻转其推理决策，通过从过度思考和思考不足所导致的失败中恢复来增强鲁棒性。DA-CoT 通过在推理分割基准上取得最先进的性能，同时显著提升推理效率，证明了其有效性。
| 评论： | 已被 WACV 2027 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41618 [cs.CV] |
| （或 arXiv:2610.41618v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41618 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chanseul Cho [查看邮箱]
[v1]
2026年10月30日星期五 11:56:54 UTC（9,233 KB）
来源：arXiv cs.AI · arxiv.org