跳到正文
10月15日周四
  1. arXiv cs.CL29

    MemDuet:为长上下文推理学习双过程记忆

    MemDuet 是一个双过程记忆框架,用小型语言模型做快速并行证据筛选(System 1),用大语言模型按文档顺序做记忆更新验证与重写(System 2),分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上,其端到端推理速度较 RL-MemAgent 平均提升 9.74 倍,输出 token 减少 73.91%。

  2. arXiv cs.AI24

    LatentMoE:从专家几何到逐层容量分配的专家形状设计

    LatentMoE 将专家计算移入低维空间,使专家的输入维度与中间宽度成为显式设计选项,并证明专家局部 Jacobian 秩受这两个维度共同约束,在固定单专家参数量下二者均衡可最大化秩上限。跨模型规模和路由粒度的形状扫描一致偏好近正方形专家;进一步用逐层内在维度(ID)指导深度方向的容量分配,在保持每层参数量、激活 FLOPs 和通信量不变的情况下,相比逐层同构基线取得更低验证损失和更强下游性能。

  3. arXiv cs.AI22

    从现有方法到新研究思路:递归自我改进的两个视角

    一篇 arXiv 综述从两个视角梳理递归自我改进(RSI)研究:一是提出涵盖更新目标、更新组织、更新调度与范围、反馈与选择四组共九个设计维度的统一分类法,将现有方法置于同一设计空间;二是分析现有 RSI 方法如何借鉴优化、正则化、数据增强、持续学习与对抗学习等传统深度学习机制,并结合进化计算拓展新思路。文章还回顾了在线、离线及离线转在线三种设定下的自我改进评测基准。

  4. arXiv cs.CL20

    面向分布式连续隐式推理的流匹配原理分布蒸馏

    研究者提出原理分布蒸馏(RDD),通过流匹配从多条文本推理路径中蒸馏,训练一个在定长隐序列上的条件流,并用 within-query mixup 在完整隐式推理之间插值以扩展蒸馏目标。该流非自回归地生成整段隐序列,再由冻结的语言模型自回归解码答案。实验显示,这一分布式推理器在答案覆盖率上优于所评估的点值隐式推理基线,在高等数学任务上尤为明显。

  5. arXiv cs.AI41

    在前沿 LLM 上迭代,在 SLM 上部署:一种智能体任务蒸馏方法

    研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中,基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率,而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。

  6. arXiv cs.AI32

    执行后学习:用动作特定信用分配提升策略能力

    研究提出"执行后学习"方法,将程序执行结果作为中间状态,为同一策略触发额外的学习交互,并用动作特定信用分别给初始动作和纠正动作分配信用。在 Image-to-TikZ 的 945 个留出样本上,单次调用渲染成功率达 92.70%,高于继续单阶段 GRPO 训练相同迭代次数后的 88.25%。该纠正能力依赖中间状态,无法通过继续单阶段训练复现,代码已开源。

  7. arXiv cs.CL31

    更多方法,更好的智能体?智能体强化学习中自蒸馏的现实检验

    一项研究在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上对比了十种代表性方法与 GRPO,覆盖三种模型规模,共 132 次训练、12,124.4 H800 GPU-hours。结果显示:各方法相对 GRPO 的提升范围有限,没有一种方法能在所有设置下稳定胜出;强劲的最终性能可能掩盖训练不稳定,额外训练成本也未必带来更好表现。

  8. arXiv cs.AI24

    MontageFlow:物理有效的高保真 EEG 生成模型

    MontageFlow 是一种流匹配模型,通过将输出限制在满足脑电通道间线性恒等关系的信号上,实现物理有效的 EEG 生成。该模型还以从整个 EEG 窗口编码的生理状态向量为条件,该向量在生成时从潜空间先验中采样。在 3 个大规模基准上,其 TS-FID 较最接近的对手提升 1.6-3.6 倍,同时保证有效性。

  9. arXiv cs.AI22

    HiPPT:通过多范围文本对齐的生理学基础可穿戴 PPG 表征学习

    研究者提出 HiPPT,一个将每种监督来源匹配到合适证据范围的生理学基础框架,用于可穿戴 PPG 表征学习。该工作构建了包含 202K 用户、超 400 万条腕戴记录与波形形态及元数据上下文描述配对的 PPG-Text 语料,结合记录级形态对齐与跨记录上下文对齐,并引入波形引导文本建模。

  10. arXiv cs.CL23

    文言文能否作为中文 LLM 的高效推理语体?Wenyan Thinking 微调 Qwen3-4B-Thinking-2507

    研究者提出 Wenyan Thinking,将中文推理模型的中间推理改写为文言文、仅保留简短直接答案,并在改写后的监督数据上微调 Qwen3-4B-Thinking-2507。在 MMLU-ProX-Lite-ZH、CEVAL 和 AGIEval-CN 的预算受限评测中,该方法显著缩短推理长度并降低缺答率;在主要基准上持续优于同等数据与配方训练的紧凑现代汉语对照组。

  11. arXiv cs.AI29

    AlignPoison:通过解码对齐前缀对生成式推荐模型实施条件定向投毒

    研究发现生成式推荐模型存在条件定向投毒漏洞:在黑盒设定下注入不到 1% 的合成交互,即可显著提升触发条件下恶意目标的推荐概率。为此提出 AlignPoison 框架,从 API 输出中发现并采样上下文对齐前缀,在单模态与多模态基准上 ASR 提升最高达 16.3 个百分点。

  12. arXiv cs.AI40

    开放权重 LLM 的推理能效如何随基准、推理模式与硬件变化

    研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗,发现能力相近的模型能效差异巨大,多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量,差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗,且收益高度依赖模型家族与输出预算;FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理,会误判 18–24% 的模型配对。

  13. arXiv cs.CL22

    BANGLAPLAN:孟加拉语约束规划与决策基准

    研究者发布 BANGLAPLAN,一个覆盖十类任务、共 1,000 道题的孟加拉语约束规划与决策基准,含可行与不可行问题及四种语言语域。评测 11 个开源与闭源模型配置显示差距悬殊:GPT-6.1 Sol 准确率 98.7%,Qwen3.5-27B 开启 thinking 达 80.3%,而直接作答配置最高仅 30.9%,11 个配置中有 7 个低于“全部不可行”基线。

  14. arXiv cs.CL27

    DAGFormer:用全局拓扑预测规划 Transformer 跨层连接

    DAGFormer 是一种由联合训练的拓扑预测器规划跨层连接的 Transformer 语言模型,可一次性规划整个模型的路由,而非逐层单独设置。在 75M 至 1B 参数的 OLMo-2 配对实验中,它将 WikiText-2 困惑度较原版 Transformer 降低 17% 至 25%,1B 版本用 5B token 训练即优于用 10B token 训练的原版模型。

  15. arXiv cs.CL31

    INTACT:在冻结骨干模型上诱导潜在推理

    INTACT 用小型外部编码器为冻结骨干模型诱导潜在推理,将隐藏状态迭代映射为潜在推理前缀,再由冻结模型输出文本推理与答案。在 1B 至 8B 的四个冻结骨干上,GSM8K 准确率从 75.8% 提升至 79.3%(Llama-3.2-3B)、从 77.6% 提升至 79.7%(Qwen2.5-3B),Llama-3.2-3B 端到端延迟降低 19%。

  16. arXiv cs.CL22

    基于死亡调查报告的证据锚定过量用药死亡预测

    研究提出一套自动化框架,可从死亡调查报告中分类疑似过量用药死亡,并生成由专家知识引导的支持性解释。实验显示,采用基于输入报告证据的 pipeline 模型(先解释后预测)优于自解释模型,最佳模型比当前部署的规则系统高出 15%,同时保留专家介入最终决策的空间。

  17. arXiv cs.CL32

    表格数据上的类型化决策模型研究

    研究在表格数据上对比四种类型化决策模型与三个 LLM,覆盖行分类、事实核查和异常检测任务。每个请求以原始形式及 21 种保持内容不变的改写形式发送,决策模型以更低成本达到与 LLM 相当的表现,其中三个对问题表述方式远为稳健。但所有模型对表格组织方式都不稳健,至少三分之一的决策会因表格或问题的某种改写而改变,低概率决策最易变化。

  18. arXiv cs.AI39

    ClawLoop:通过 Harness 原生训练循环实现自我改进的智能体

    ClawLoop 是一个无需外部教师模型、仅依赖极少先验的自我改进框架,将任务合成、训练与诊断反馈组成自循环。以 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得持续提升,迭代优化的任务还可迁移至 Qwen3.5-4B 和 9B 模型并在所有基准上获得增益。

  19. arXiv cs.CL24

    基于篇章解析的结构保持文档级数据增强

    研究者提出一种基于 LLM 与文档级篇章结构解析的结构保持数据增强框架,通过识别句对间的修辞关系并抽取关键短语,在保持原有篇章结构的前提下替换为语义连贯但主题偏移的内容。在文本摘要和问答任务上,增强数据提供了互补监督并提升了混合数据训练效果,与标准 RST 解析器的对比及消融实验进一步支持该篇章表示。论文已被 PACLIC 2026 接收。

  20. arXiv cs.CL31

    原生多模态预训练中视觉内容作为可扩展锚点:arXiv 研究揭示视觉信号如何影响扩展行为

    一项 arXiv 研究通过受控视觉内容消融实验发现,在原生多模态预训练中保留视觉内容可改善图文样本的文本预测,且多模态损失收益随计算量近似呈幂律增长。视觉内容还能提升纯文本描述的空间推理能力,在定位、导航和符号规划任务上增益最持续,同时不改变最优模型规模与数据配比,也不损害纯文本损失和聚合语言分数。

  21. arXiv cs.CL26

    KoAGE:大语言模型能否识别、学习并创造韩语新词?

    研究团队推出 NeoTrace 框架与 KoAGE 基准,用于评估大语言模型对韩语新词的掌握。该基准含 4,271 条新词条目,覆盖三项习得任务与两项生成任务,其中生成任务首次在原始语境下对比模型造词与真实新词。在 21 个模型上,词汇记忆与语境推断出现分化:五模型时序分析中,模型仅能定义 13-30% 的截止年份新词,却可从单次用法推断含义。

  22. arXiv cs.CL33

    ELARSpeech:覆盖 675 种低资源语言的 3 万小时多语言语音数据集

    研究者发布 ELARSpeech,一个从濒危语言档案库整理的大规模多语言语音资源,包含 675 种低资源语言、共 30,202 小时语音,融合人工标注与无标注录音。实验显示该数据集可将 ASR 和 TTS 能力扩展至多种低资源语言,伪标注无标注数据还能带来额外提升,但语音表征分析也暴露出当前多语言模型向语言长尾迁移的局限。数据集、训练好的 ASR 与 TTS 模型及完整数据构建流程均已公开。