跳到正文
10月16日周五
  1. arXiv cs.AI24

    RSHD:用失败回放恢复 GRPO 监督信号

    针对 GRPO 在整组 rollout 全部失败时既无成功样例也无非零组内优势、学不到东西的问题,研究者提出 Replay-Selected Hindsight Distillation(RSHD),让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解,仅当回放成功率高于原组且笔记未泄露答案时才采纳,并将采纳的回放蒸馏回纯提示词策略。

  2. arXiv cs.CL36

    PremiseCheck:高效核查人类与 AI 同行评审中的事实错误

    研究者提出 ReviewFact 基准,在 NLP、机器学习与自然科学领域用统一定义标注评审意见中的事实错误,并同时衡量成本与延迟。PremiseCheck 框架让 LLM 在不读论文的情况下把每条评审意见改写为显式前提,再由决策模型逐条对照论文核查。单条核查时,其在三个领域准确率与 GPT-5.5 相当而成本约为一半,NLP 评审上成本降至四分之一、延迟不到一半。

  3. arXiv cs.AI34

    MSP:无需配对跨模态数据训练多模态 LLM 的模态自博弈框架

    研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。

  4. arXiv cs.CL31

    LLM 能否预判自身决策的关键分歧点?

    研究提出用"关键分歧点"(crux)刻画 LLM 决策依据,即模型多次 rollout 之间产生分歧、改变其取值可能改变结论的子问题。作者比较三种成本递增的策略:直接让模型先验预判、单次生成后提取、以及多次生成对比提取,后者借助 reranker 实现,算力约为 judge 的 1/86。

  5. arXiv cs.CL26

    相同上下文,不同智能体:数据智能体中语义层、编排与压缩的行为研究

    研究在五个 benchmark 的 1,514 个长周期任务上,用七款 LLM 分析语义层、编排、压缩三种上下文工程技术单独及组合的效果。无这些技术的数据智能体分为调查者、过早作答者和提前放弃者三类行为组,每种技术只有匹配对应行为组才能转化为准确率提升;对调查者反而有害,编排会使其过度自信并损失 5 个百分点。

  6. arXiv cs.AI26

    如何定义并生成组合结构:一项基于算法信息论的研究

    研究者用算法信息论形式化定义了组合结构:当各部分放在一起时揭示出单独建模时无法捕捉的共享结构,组合结构便由此涌现。该定义可跨尺度定位组合结构在对象中的出现位置,并借助可处理近似反推框架,在字符串和图像上直接优化生成具有层级复用与部分-整体组织的对象。研究还讨论了其对机器学习的启示,包括神经网络架构深度的新视角与构建组合数据课程的原则。

  7. arXiv cs.CL23

    面向沃洛夫语的开源工业级语言模型

    研究者发布 0.6B-14B 开源权重模型,通过指令微调、偏好对齐与模型合并适配沃洛夫语。在 63 个公开与内部任务上,模型在沃洛夫语理解与生成上表现良好,8B 和 14B 版本可与规模大得多的商业系统竞争。模型正用于内部客服试点,并已公开可用。

  8. arXiv cs.AI31

    自我改进智能体的技能-策略协同演化陷阱:CODA 漂移审计协议

    论文指出技能-策略协同演化存在被忽视的脆弱性:现有方法用协同训练时的技能库评估策略,但部署后技能漂移会使策略失效,且漂移敏感度随训练推进而上升。为此提出面向部署的评估协议 CODA,模拟技能漂移并引入语义保持编辑下的一致性率与损坏技能抵抗率两项指标。在四种协同演化方法和五个基准(六种设置)上,最差情况成功率比交付技能库的峰值低 5-13 分,抹去其相对无技能基线增益的 52-93%。

  9. arXiv cs.AI22

    面向评估器引导测试时推理的置信度校准推理扩展

    研究将评估器引导推理建模为计算感知的三动作控制器,在信任当前答案、回退与继续扩展之间做选择,并按预测答案成功率与基于 rollout 的延续成功代理打分,显式计入计算成本。在留出的宽度扩展与修订任务上,该控制器相比校准选定的固定策略提升了观测效用,同时将归一化在线计算量分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上,两种设置的计算量均低于拟合 Q,效用差异较小且方向不一。

  10. arXiv cs.CL30

    PRISM:工具调用语言模型激活干预的迁移与局限

    研究团队提出 PRISM 框架,评估激活干预在精度、语言和规模上的迁移能力。用 NF4 量化副本的行为标签可在极少场景下稳定估计干预方向,五语言 NF4 监督方向无需目标语言微调即可迁移至阿拉伯语,将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并借助配对良性激活迁移至最大 70B 参数的模型。实验代码与交互式结果浏览器已公开。

  11. arXiv cs.AI27

    用时序逻辑规范引导文本到视频生成:TSG 框架提升时序约束满足度

    研究者提出 Temporal Specification Guidance(TSG),一种免训练的推理时框架,将时序逻辑规范转化为可执行目标来引导视频生成采样。该框架用可微定量语义对视觉概念证据轨迹打分,并以梯度构建规范引导的去噪方向,增强 CFG。在覆盖 11 类时序约束的 220 条提示词基准上,该方法在五个模型上将规范满足准确率较 CFG 提升 9.5-20 个百分点,且内存开销极小。

  12. arXiv cs.CL24

    APRiL:面向大语言模型中文社交意识的开源基准

    研究者推出 APRiL,一个面向中文社交意识的开源基准,包含 2,196 个社交意识评估实例,覆盖六类场景与社交场景分析、社交意识回应两项任务。在来自六个模型家族的 12 个模型上测试发现,模型普遍存在"理解到回应"的落差,高质量场景分析能提升回应质量,而弱分析可能拉低回应质量。数据与代码已公开。

  13. arXiv cs.AI30

    一种自我改进的智能体如何生长出自己的 DSL:面向精确问答的无 Oracle 算子归纳

    一个冻结模型通过内外双层循环,在无奖励、无评判模型、无答案键的条件下生长出自己的 DSL 算子,实现精确问答。内层循环仅在两个独立编写的表达式对每条记录一致时才作答,将可回答问题集扩大约三倍;外层循环自主发现缺失能力并编写算子,仅在独立第二实现一致且结果满足守恒律时接纳。

  14. arXiv cs.CL26

    全双工语音语言模型的参考引导轮流说话风格迁移

    研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量",无需训练或标注即可读取并调控模型的说话决策,提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%(不干预时为 21-30%),且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型,换用他人参考时 93-98% 的情况下匹配变差。

  15. arXiv cs.AI26

    EvolvingBrain:面向开放世界多模态智能体自进化的自适应技能系统

    研究者提出 EvolvingBrain,用自适应技能系统驱动多模态智能体在开放世界中自进化,包含分层技能自进化与状态感知自适应执行两部分。前者从模型轨迹中提取过程模式与问题模式,生成技能并形成由 Domain、Plan、Action/Trap 技能组成的分层技能架构;后者将长程交互总结为结构化摘要记忆,指导状态感知技能融合策略。

  16. arXiv cs.AI32

    开放世界 AI 的三项要求:一项基于 8B 语言模型的实证研究

    研究提出开放世界 AI 需满足三项要求:推理时学习、丰富表征与预测性解耦,并将任务建模为共享潜在因子、分解训练目标推导得出。在最高 8B 的语言模型上验证显示,满足要求的模型会随相关任务数据积累而提升,其余模型则退化,且扩大规模或层类型交错都无法修复。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文的收益。

  17. arXiv cs.CL27

    CoTS:面向大语言模型隐式推理的竞争性 token 选择

    研究者提出免训练框架 CoTS,将隐式推理干预从二元模式选择改为 token 级的连续分配,利用两个最可能候选 token 的概率竞争动态平衡离散承诺与软探索。候选明显占优时保持接近采样离散 token 以稳定推理轨迹,竞争加剧时则提升软表示贡献以保留备选路径。该方法无需人工设定切换阈值或混合系数,也不增加额外前向计算,在六个推理基准上持续优于标准 CoT 及当前最优的免训练隐式推理方法。

  18. arXiv cs.AI31

    ARIA:面向多智能体系统的运行时检查与修正框架

    研究者提出 ARIA 框架,让紧凑模型学会在多智能体系统执行过程中判断何时干预、如何修正。团队从四个多智能体框架、六个基准、八种宿主模型收集超 24,000 条轨迹,构建了含 3,953 对执行验证修复的 ARIA 数据集,用于训练模型识别失败并给出修正方案。该模型在事后与运行时修复中均表现良好,并可泛化到未见过的框架和宿主模型,代码已开源。

  19. arXiv cs.CL20

    排列扩散 LLM 的设计空间探索

    研究通过三种扩散 LLM 参数化方法解决排列生成问题:基于打乱候选索引序列的硬分配预测、基于双随机矩阵的软分配预测,以及直接预测排序分数后排序。在三个 Amazon 领域的推荐重排序任务(候选集大小 10 和 20)上,单次函数评估时硬分配和软分配变体的 Recall@1 与受限掩码扩散基线相当,而直接排序分数预测无需匈牙利算法或 Sinkhorn 归一化即可保证有效排列。