跳到正文
#数据/训练
10月12日周一
  1. arXiv cs.AI22

    CoMMa：贡献感知的医疗多智能体框架，实现去中心化肿瘤决策支持

    研究者提出 CoMMa，一个去中心化 LLM 智能体框架，让专科智能体各自在分区的临床数据流上运行，并通过智能体专属微调强化角色专业化。该框架引入贡献感知聚合机制，用确定性嵌入向量投影替代随机叙事式推理来近似各智能体的边际效用，实现显式信用分配。CoMMa 在多个肿瘤学基准上评估，包括北美与东亚大型学术医院的真实多学科肿瘤委员会数据集及公开数据集，展现出跨异构临床环境的性能与泛化能力。

  2. arXiv cs.AI29

    QXR：面向自然语言主张集合的全局一致性修复框架

    针对主张集合可能局部合理、两两兼容却整体不一致的失效模式，研究者提出 QXR 自适应诊断与修复框架，将 LLM 视为带噪的集合级一致性判断器，定位最小冲突子集并通过删除小型命中集来修复主张集合。在 VitaminC、FEVER 及冲突证据 RAG 衍生基准上，QXR 比一次性直接判断保留更多有效主张且保持高精度，该工作已被 EMNLP 2026 主会接收。

  6. arXiv cs.AI22

    离散图扩散模型被曝秘密记忆训练图：条件记忆现象首次被揭示

    研究发现离散图扩散模型（GDM）确实存在记忆现象，作者将其命名为"条件记忆"：在双块随机块模型（SBM）上训练的 GDM，当反向扩散轨迹以被噪声破坏的训练图为条件时，几乎能完美恢复该训练图，而测试图则无法恢复，且该现象在常规推理中并不显现。记忆的出现总是早于生成图中社区结构的形成，因此此前所有检查点生成的图都无结构；这一行为伴随泛化差距扩大，早停无法缓解，并在所有测试节点规模上成立。

  7. arXiv cs.AI31

    DualQuant：面向 LLM 的双尺度免校准权重与激活量化

    DUALQUANT 是一个双尺度、免校准的 LLM 训练后量化框架，通过最小化权重重建 MSE 直接得到逐通道激活缩放因子，无需校准数据即可完成激活量化。该方法是首个正式支持 MX 全家族与 NVFP4 等块格式的双尺度量化算法，在 Llama 和 Qwen 上于 WikiText-2、C4 及零样本任务中匹配或超越基于校准的 SmoothQuant。

  9. arXiv cs.AI47

    LAPT-Scale：用人类视频潜在动作预训练扩展具身策略

    LAPT-Scale 提出可扩展的潜在动作预训练范式，其中 LAPT-Scale-LAM 通过解释人类视频帧间视觉变化学习连续潜在动作，为 VLA 策略预训练提供隐式动作监督。在 23.3K 小时第一人称视频上训练后，标注人类视频从 1K 扩展到 5K 小时，真实机器人成功率从 63.3% 提升至 85.0%，并泛化到未见视觉条件。该工作已被 CoRL 2026 接收。

  10. arXiv cs.AI22

    一次到位：联合学习准确且校准的神经网络

    研究者提出一种双层 Stackelberg 公式，让标准的事后校准器与主干网络端到端联合训练，无需单独的校准集或专用校准损失，仅新增校准器学习率一个超参数。该框架支持从温度缩放、矩阵缩放直到 NN 层的各类校准器，结果显示直接以最终分类层作为校准器即可获得准确且校准良好的模型，且不增加额外参数。方法以极小复杂度超越 SOTA 校准器，并避免多任务学习等场景中独立校准组件的成倍开销。

  11. arXiv cs.AI22

    预训练与测试时训练预算如何影响 ARC：VARC 与 TRM 的受控研究

    在 ARC-AGI-1 上，VARC 与 TRM 的性能受预训练和测试时训练（TTT）预算影响显著。研究交叉测试了五种预训练预算与四种 TTT 预算，发现增加 TTT 样本呈现次数能提升两个模型的 pass@2 指标，而增加 TTT 任务变体数量仅对 TRM 持续有效，VARC 往往在更少变体下表现更好。VARC 在无预训练时仍具竞争力，TRM 则更依赖预训练。

  13. arXiv cs.AI22

    模型无关的知识增强机器学习方法，提升弱标注生物影像数据分类性能

    研究者提出一种模型无关的知识增强方法，让 ML 模型利用自动特征提取之外的领域知识，在七种 ML 架构上均提升分类性能。与基于 masked autoencoder 的自监督学习结合时表现最佳，在三个内部显微镜数据集上精度比次优方法提升 2.9%，在三个公开细胞形态学基准上平均提升 6.8%。

  14. arXiv cs.AI32

    无需监督即可发现潜意识学习：蒸馏模型隐性特质的防御新方法

    研究者提出一种无需监督的方法，仅凭参数更新即可从蒸馏模型中恢复被潜意识传递的行为特质，利用特质在教师模型生成的多样数据集上表现一致、而任务能力各异的非对称性。该方法在 Cloud et al. (2026) 的潜意识学习基准上，无需任何特质标签就恢复了传递的动物偏好特质，并能抑制其表达且几乎不影响任务性能。

  17. arXiv cs.AI22

    面向系统辨识的上下文学习：概率化建模、长序列处理与基准验证

    该研究将上下文学习用于系统辨识，提出统一的概率化元辨识架构，结合 Transformer 编码器-解码器与长训练序列处理机制，实现长时程校准预测。预训练元模型还可作为不确定性感知的合成数据生成器，在真实数据稀缺时为正则化参数模型提供任务特定数据。在标准非线性系统辨识基准及分布外场景中，该方法精度与 SOTA 方法相当，并展现出强泛化能力，仅靠输入适配即可应对显著分布偏移。

  20. arXiv cs.AI23

    ReSFlow：在统计流形上矫正类别流以实现一步生成

    研究者提出 ReSFlow 模型，通过在统计流形上显式学习遵循内在黎曼几何的测地线轨迹，实现离散数据的一步类别生成。该方法理论上保证先验与目标分布间的轨迹近似测地线，从而大幅降低传输成本，将纯噪声一步映射到目标离散数据。在图像、文本和生物等多个真实生成任务上，ReSFlow 展现出更优的一步生成质量，代码已开源。

  21. arXiv cs.AI29

    部分可观测 RL 中学习循环网络是否必要？冻结循环网络可作为强基线

    一项研究探讨了部分可观测强化学习中是否必须训练循环网络，提出将固定循环网络与可训练非线性输出模块结合的简单架构。在多种记忆需求、观测模态和动作空间的任务上，冻结循环网络可支持数百步的回溯，并取得有竞争力的控制性能，同时可训练参数量不到全可训练版本的一半。结果表明，学习循环记忆模块并非解决 POMDP 的必要条件，冻结循环网络为部分可观测 RL 提供了参数高效且表现强劲的基线，源代码已公开。

  22. arXiv cs.AI24

    SynthSelf：用合成自蒸馏实现小模型持续后训练

    针对 SDFT 依赖强上下文学习能力、在小模型上失效的问题，研究者提出合成自蒸馏（SynthSelf），将分布内改写任务外包给同族、略大的对齐模型，并结合离策略监督与拒绝采样。在 4 个能力获取数据集和 14 个保持性基准上，SynthSelf 在 3 种小模型规模下均优于包括离策略与在策略蒸馏在内的 6 种方法。

  28. arXiv cs.AI24

    KITE：面向时间序列事件预测的知识注入时序编码器

    KITE 是一种知识注入的时序编码器，通过协变量机制与注意力偏置机制两种可切换方式，将工程师掌握的语义先验注入自监督事件预测模型，无需逐数据集搜索架构。在短上下文下，周期性时钟先验使 pooled h-AUROC 较无先验基线提升 14%（p<0.001），守恒残差先验在 0.25 标签比例下提升 47%，有效先验还能跨域迁移（+53%）替代特征迁移。

  29. arXiv cs.AI20

    机器学习与时间序列基础模型用于大学建筑日前电力预测

    研究对统计模型、机器学习、循环神经网络与预训练 TimesFM 在大学建筑日前电力预测上进行基准测试，TimesFM 3.0 结合协变量取得最低整体误差，平均绝对误差较周季节朴素预测降低约 43%。XGBoost 仍具竞争力，但配对日比较未确立其平均绝对误差优势；TimesFM 无需建筑专属权重训练，XGBoost 则本地拟合与推理更快，LSTM 拟合更慢且未超越两者。

  30. arXiv cs.AI22

    Mesh-Native Tokenisation：让预训练基础模型适配非结构化网格数据

    研究者提出 Mesh-Native Convolution（MNC），一种类似 CNN 的局部感知 tokenisation 层，可将非结构化网格数据编码为潜在表示，使模型在网格数据上训练一次后即可部署到任意非结构化网格，仅需极少重训练。该方法能高效地将网格预训练的基础模型改造适配到非结构化网格，零样本部署在许多情况下即可达到可接受精度，微调几个 epoch 后即超越现有基线。

  32. arXiv cs.AI32

    语言模型能玩维基百科游戏吗？GPT-o3 mini、GPT-4o、QwQ:32B 与 DeepSeek-R1:70B 的导航能力对比

    研究用维基百科游戏测试语言模型的信息检索能力，让模型仅靠文章链接抵达目标条目，并在五种维基百科语言和五个学术文献数据集上对比了句嵌入模型与 LLM。GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 表现最佳，成功率与人类相当，但无模型显著超越人类，且性能与排名随语言和主题变化。

  33. arXiv cs.AI22

    GRPO 课程难度递进：适度加难有益，过度加难有害

    研究在 GRPO 中重新估计当前策略下的样本难度，并设计分阶段课程逐步将训练难度带移向更难的样本。GSM8K 实验显示，固定选择中等难度样本并非最优：三个随机种子下，递进到适度更难难度带将测试准确率提升至 0.6591 ± 0.0077，高于固定中等难度的 0.6449 ± 0.0024；但进一步递进到更难难度带时准确率降至 0.6405 ± 0.0053，表明难度递进的收益呈非单调性。

  34. arXiv cs.AI24

    MENTOR：用同策略教学干预从失败中学习

    针对 RLVR 训练中的"零奖励坍缩"，研究者提出多智能体框架 MENTOR，实时诊断失败根因并动态生成教学提示，引导学习智能体下一次尝试。MENTOR 可作为即插即用模块接入 GRPO 等策略优化流程，无需改动训练基础设施。在数学与代码生成任务上，它优于现有基线，在 Llama-3.2-3B-Instruct 上相对基座模型平均提升最高达 78.3%。

  35. arXiv cs.AI38

    MAGMA-Bench：评估动态任务与执行失败下的长时程具身智能体

    研究者推出 MAGMA-Bench，一个架构无关的基准，用于评估动态多机器人环境中的持续任务推理，覆盖递增任务时程与执行失败、任务中断、任务更新等在线扰动。评测显示最强模型在相当比例的干净回合中仍失败，在线扰动下成功率进一步下降；监督适配能大幅提升小模型，但在更长时程和多机器人任务上表现仍明显偏低。团队同时发布基准、261,646 条任务级训练样本及架构无关的专家轨迹生成流程。

  36. arXiv cs.AI22

    多教师在线策略蒸馏的跨教师守护方法 Road MOPD

    针对多教师在线策略蒸馏（MOPD）中域路由无法避免共享参数上的梯度冲突问题，研究者提出 Road MOPD，引入非路由教师作为跨域评论者，通过 token 级信用分配与多教师梯度投影协调监督。实验显示，该方法在高冲突场景下提升超过 5 个百分点，并改善低冲突与三域设置下的整体表现。

  39. arXiv cs.AI36

    SqueezeBench：抗饱和的数学能力评测基准

    研究者提出 SqueezeBench，一种抗饱和的数学能力评测基准：每道题固定一个仅小 n 已知取值的整数函数 f(n)，提交需用 Lean 函数给出可机器验证的上下界证明，成功即抬高门槛而非移除题目。基准发布十个极值组合学问题与二十个已证初始记录；基于前沿语言模型的智能体在每题最多一小时限制下被接受 82 次提交并改进全部记录，两个更新模型的智能体又改进 20 个记录中的 19 个。