从多个思考者中学习：CoT 异质性如何影响高效可学习性

查看 PDF HTML（实验性）

摘要：思维链（CoT）监督通过暴露易于通过下一词元预测学习的中间步骤，使计算上困难的学习问题变得可处理。然而在实践中，CoT 数据集来自具有不同推理风格的异构来源，并且需要投入大量精力来整理适合下一词元训练的监督数据。这种整理在实现 CoT 监督的计算优势中扮演什么角色？在这项工作中，我们从学习理论的视角迈出了理解这一问题的第一步。我们引入了若干来自多个来源的$异构$ $CoT$ $监督$模型，每个来源都提供具有相同最终答案但不同中间步骤的正确轨迹。假设将下一词元预测器拟合到来自任一单一来源的$同构$轨迹在计算上是可处理的，我们追问这在何时足以从异构监督中高效学习。
我们证明了从多个来源$被动$收集的轨迹中学习具有$密码学$ $困难性$，尽管从同构 CoT 中学习是容易的。这种困难性可能源于决定哪些来源在域的不同部分贡献轨迹的$难以学习$的$贡献$ $偏差$，也可能源于接收到$未过滤$的异构混合（尽管同构轨迹的过滤子集足以实现高效学习）。在积极的一面，受语言模型迭代和自适应微调的启发，我们给出了一种计算高效的学习算法，该算法$主动$且$自适应$地从多个来源收集 CoT，且每个来源的 CoT 预算完全独立于目标误差 $\varepsilon$。我们认为，我们的结果阐明了使 CoT 监督对学习有效的核心数据收集与整理实践。

评论：	欢迎评论。修订了表述，以突出主要定理与实践之间在概念信息上的联系
主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算复杂性（cs.CC）；机器学习（stat.ML）
引用为：	arXiv:2604.24737 [cs.LG]
	（或 arXiv:2604.24737v2 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2604.24737 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Nirmit Joshi [查看电子邮件]
[v1] 2026年4月27日星期一 17:43:44 UTC（166 KB）
[v2] 2026年11月5日星期四 10:27:14 UTC（321 KB）