Shared Residual Distillation：让语言模型从无验证的同侪解答中学习
研究者提出 Shared Residual Distillation（SRD），一种 on-policy 自蒸馏方法，让模型直接从自身未经正确性验证的同侪轨迹中学习，通过对比同侪相对对照组对预测分布的调整，保留方向一致且幅度保守的修正。
#数据/训练
arXiv cs.AIAI 评分2727 arXiv cs.CLAI 评分2929 预训练表示中线性可读的知识更易在微调后泛化
研究区分了语言模型中的"活跃事实"与"惰性事实"：前者支持超出自身回忆的泛化，后者只能被回忆。在11个语言模型和70个关系上，原始关系在预训练表示中的线性可读程度强烈预测微调后的泛化能力，关系间相关系数达 Pearson r = 0.87 至 0.92，且该关联在控制微调样本数、答案数、原关系准确率及预训练词频后依然成立。
arXiv cs.CLAI 评分3131 不是"是否"而是"何时"：从语境适切性诊断中文 LLM 的写作口头禅
研究以中文纠正构式"不是 X，而是 Y"为切口，用基于 Gricean 语用学的决策树将用法分为实质性、可选与缺陷三类。五款商用模型使用该构式的密度是人类参照的 2.5 至 9.2 倍；307 条标注用例中仅 1.30% 属缺陷，52.8% 属"正确但非必要"的可选用法，说明模型在适切性上的不足远多于正确性。
arXiv cs.CLAI 评分3434 Hy-Memory-30B-A3B：面向长期记忆写入的归因强化学习
研究团队提出 Hy-Memory-30B-A3B，一个跨 Mem0、MemOS 和 Hy-Memory 训练的紧凑型长期记忆写入模型，通过 Memory On-Policy Distillation 学习各框架写入协议，再用 Memory RL 结合分块探针、跨块归因奖励与 chunk 级 GRPO 优化下游可答性。
arXiv cs.CLAI 评分2727 Mosaic：多会话智能体强化学习
针对现有智能体强化学习仅假设单会话轨迹、与上下文压缩和子智能体分叉等推理时执行方式不匹配的问题，研究者提出多会话智能体强化学习设置及 Mosaic 方法，采用无 critic 的分层优化，在轨迹层引入会话使用信号、在会话层按估计边际贡献调整优势。在 BrowseComp 上以 Qwen3.5-4B 测试，Mosaic 在上下文压缩和子智能体分叉场景均优于广播式方法，且平均使用会话数更少。
arXiv cs.AIAI 评分3232 RoleQ：按角色对齐的缩放策略将语言模型转换为三值权重
RoleQ 是一种按 Transformer 单元功能角色而非权重矩阵布局来放置缩放因子的量化框架，无需搜索、校准或存储状态。在 0.6B 到 14B 的多个模型家族中，其三值量化困惑度较基于布局的方案最多降低一半，而按行缩放会让 MMLU 跌至随机水平。
arXiv cs.AIAI 评分2323 CIM-Embed：面向聚类的指令条件多模态嵌入学习框架
论文提出 CIM-Embed 框架，通过监督对比学习让模型将图像、文本与指令直接映射为嵌入向量，再由 HDBSCAN 在无需真实簇数的情况下完成聚类划分。
arXiv cs.CLAI 评分2424 CLUE：挖掘对话中的社会语境以提升语用理解
研究提出 CLUE 两阶段训练流程，将监督式证据推理与由 Grounded Information Utilization（IU_G）引导的 GRPO 结合，让模型自行发现对话中的关键线索。
arXiv cs.AIAI 评分2222 Co2In：结合知识编码、巩固与整合的双层记忆增量学习框架
受人类记忆机制启发，研究者提出增量学习框架 Co2In，采用工作记忆与长期记忆协同的双层架构，通过知识编码、巩固与整合实现高可塑性与稳定性的平衡。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 的无样本 Class-IL 与 Task-IL 设置下，Co2In 取得 SOTA 性能且内存消耗高效。该工作已被 IEEE TPAMI 接收。
arXiv cs.CLAI 评分2929 EMO：交替上下文优化与 logits 引导的闭环测试时计算框架
EMO 是一个无需训练的测试时计算框架，受 EM 算法启发，交替进行问题特定的上下文估计（E 步）与分布精炼（M 步），通过外部评判模型的文本梯度修正系统上下文，并利用上下文引起的 logit 位移构建置信度约束的 logit 修正。
arXiv cs.CLAI 评分3636 PremiseSQL：评估 Text-to-SQL 系统中的前提批判与拒答能力
研究者提出 PremiseSQL 基准，包含 1800 条存在前提缺陷的 NL2SQL 查询及对应的 1800 条原始查询，覆盖四类前提失败，用于评估模型识别缺陷查询并拒绝生成误导性 SQL 的能力。实验显示，前沿 LLM 默认高度信任前提、很少批判缺陷前提；强化批判导向的提示词虽能提升检测与拒答，但也会增加误判无效并抑制对原始查询的 SQL 生成。
arXiv cs.AIAI 评分3131 DeciCAD：为 CAD 智能体打造基于 harness 的动作策略学习
DeciCAD 是一个面向 CAD 领域的原生 harness，通过暴露语义 CAD 动作、决策导向观测与环境反馈，从交互轨迹中提取因果决策监督，并用 SFT 与几何接地的在线 RL 训练动作策略。
arXiv cs.CLAI 评分2424 解读 MoE 大语言模型中专家的个性化分工
研究提出对 MoE 大语言模型做个性化适配，在三个开源权重 MoE LLM 上训练 crosscoder，识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当，多义性更低，且因果干预显示这些潜在特征足以复现个性化模型行为，不同个性化特征对应不同路由路径。
arXiv cs.AIAI 评分2222 ICPSL：从有限离线数据进行上下文偏好条件化 Pareto 集学习
研究者提出上下文偏好条件化 Pareto 集学习框架 ICPSL，通过在大量合成先验数据上预训练基础式超网络，使其在给定未见问题的离线观测后，单次前向传播即可生成该问题的偏好条件化 Pareto 解模型。生成的模型可复用于任意偏好预测解，无需针对具体问题训练或逐偏好搜索，在合成与真实问题上均生成高质量 Pareto 解并大幅加速问题特定解模型的构建。
arXiv cs.CLAI 评分1717 面向 Masewalkopa 的 Nawatl 单变体 NMT 专精化
针对多变异体混合语料造成的“变体碎片化”问题，研究者基于 70,000 对多变异体数据，将 mT5-large 专精化到墨西哥 Santa Ana Tlacotenco 所说的 Nawatl 变体 Masewalkopa（nhn）。
arXiv cs.AIAI 评分4444 Data World：从零扩展数据环境
研究团队提出 Data World，一个多智能体引擎，通过先定义文件背后的世界机制再生成文件，合成环境、任务与评分标准，并产出 DataWorld-Bench（50 个留出世界、16 个领域、100 个任务）及 1,037 个世界的 2,135 个训练任务。
arXiv cs.CLAI 评分3131 字节级模型该在哪里分配算力：BLT 的 novelty patching 压缩视角
针对 Byte Latent Transformer（BLT）按下一字节熵值划分 patch 会跳过算式结果的问题，研究者提出基于 LZ77 压缩思想的 novelty patching：在字节不太可能重复近期上下文处开启 patch，该规则仅需一张基于前两字节的查找表，数秒内即可在无标签原始文本上拟合完成。
arXiv cs.CLAI 评分2929 Multi-SFT：可商用许可的多语言指令跟随数据集
Multi-SFT 是一个可商用许可的多语言指令跟随数据集，包含五种欧洲语言的 502,818 条指令-响应对，通过翻译与重新生成流程构建。研究团队微调了 EuroLLM、OLMo 2、Qwen3 三个家族共九款模型（1B-32B），在 13 个基准上评测，结果显示 Multi-SFT 单独使用即可媲美更大的增强混合数据集和官方指令微调版本，在安全任务上优势尤为明显。
arXiv cs.CLAI 评分2222 字节顺序如何影响多语言边界预测：UTF-16 编码方案 UBE 将字素边界错误降至 0.06%
一种名为 Universal Byte-Level Encoding（UBE）的编码方案将三字节 UTF-8 码点改写为两个 UTF-16 字节（低字节在前），使首个符号携带 8 个低位码点位以区分字素延续与下一字母。
arXiv cs.AIAI 评分2727 潜在世界模型中的内在动力学学习：Concat IDM 用动作可预测性提升视觉多样性下的规划成功率
研究提出以动作可预测性作为归纳偏置来保留世界模型的内在动力学，并实例化为 Concat IDM——从拼接的潜在状态预测动作，利用离线轨迹中已有的动作标签更新共享编码器，且不改变测试时的规划器。在 Push-T 的 24 种外观设置下，三次独立训练中 Concat IDM 将规划成功率从 9.1% 提升至 77.2%，其配对提升比单一外观设置高出 52.9 个百分点。
arXiv cs.CLAI 评分3131 超越上下文长度：刻画长上下文推理的难度
研究者构建了 LURCH 基准，包含 6,550 个多领域问答实例及支撑证据与推理图，用证据范围、证据分散度和推理深度三个属性量化长上下文推理难度。对闭源与开源权重模型的评测显示，在固定上下文长度下，这三个属性均与模型表现强负相关；上下文变长时，证据分散的样本性能急剧下降，而证据集中的样本相对稳定。三个属性还会叠加放大难度，三者均中等偏高的题目比仅一项极端的题目更难。
arXiv cs.CLAI 评分3636 为智能体后训练预热的基座模型：一套开放 midtraining 配方
研究者公开了一套面向智能体后训练的 midtraining 配方，并在 Nemotron 3.5 Lightning 和 Nemotron 3.5 Super 两个模型上验证效果。
arXiv cs.AIAI 评分2424 LOADBench：面向 IC 设计机器学习的大型开放模拟数据集与基准
LOADBench 发布了一个面向模拟 IC 设计机器学习的大型开源数据集与标准化基准，包含 SkyWater130 PDK 中 100 多种运放拓扑（1、2、3 级），每种拓扑附带结构与功能标注、尺寸约束、Ngspice testbench，以及 NSGA-II 多目标尺寸优化产生的约 10³ 个 Pareto 最优和 10⁶ 个中间尺寸-性能数据对。
arXiv cs.CLAI 评分2222 通过多教师蒸馏学习语音属性表示
研究提出一种多属性多教师蒸馏框架，用共享 SSL 骨干网络和属性专属分支，从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，该模型性能接近专用单任务学生模型，且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。
arXiv cs.AIAI 评分2424 强化学习驱动的扩散模型：语言、视觉及更多领域的综述
这篇综述首次系统梳理了强化学习驱动的扩散模型（RL-driven DMs），探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式，覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法，并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收，并构建了公开仓库持续追踪该领域进展。
arXiv cs.CLAI 评分2222 TagInsert：Transformer 序列生成中的动态顺序，低资源标注场景实验
基于 Transformer 的 TagInsert 模型移除解码器侧注意力掩码，让模型在推理时自行决定标签生成顺序，从而打破常见的从左到右（L2R）生成范式。
arXiv cs.AIAI 评分2626 面向大语言模型高效持续学习的功能子网络定位
研究者提出 CiMEO 持续学习框架，通过梯度归因定位 LLM 中互重叠极低的功能子网络，将每个训练样本路由到对应子网络，仅更新选定区域的参数与优化器状态。在 140 万条序列指令上，CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能，并缓解灾难性遗忘。子空间重叠与主角度分析表明，局部化更新有助于保留预训练表示。
arXiv cs.AIAI 评分2929 SCRIBE：可扩展的可解释脑语义上下文表征框架
研究者提出 SCRIBE，一个基于神经科学语义空间、用开源大语言模型集成生成可解释词级语义表征的框架。在 921 名参与者的行为研究中，SCRIBE 捕捉到人类语义特征判断随语境的变化，达到估计人类噪声上限的 75-81%；在自然故事聆听的脑活动数据上，其预测语言选择性脑区神经响应的表现显著优于非上下文语义表征。
arXiv cs.AIAI 评分3838 QREF：通过查询精炼与证据过滤对齐搜索与推理，提升 DeepSearch 智能体
QREF 是一个即插即用的查询精炼器与证据过滤器，通过按当前推理意图重写搜索查询并保留相关证据，提升 DeepSearch 智能体性能。在四个基准上，WebSailor 的 Pass@1 平均相对提升 33.55%，TongyiDeepResearch 提升 11.04%，且无需修改架构或重训练推理策略。经强化学习训练的查询精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
arXiv cs.CLAI 评分2929 RIKA：面向持续学习智能体的可靠知识获取方法
针对持续学习智能体从任务流中提取的知识约 12–33% 会损害后续任务表现的问题，研究者提出 RIKA（Reliable Knowledge Acquisition），将事实、概念、程序与元认知知识的分层提取与基于证据的知识准入机制结合，无需额外验证任务即可决定哪些主张进入智能体上下文。
arXiv cs.CLAI 评分2222 SceneWeave：面向戏剧改编的受众引导场景探索
SceneWeave 通过撰写焦点场景的对比版本、比较其产生的互动效果，再据此修改人物塑造、前置铺垫、后续发展与场景顺序，最终生成完整剧本，让实际场景写作反哺改编决策并贯穿全篇。该研究同时开发了专用写作模型与人类偏好模型，后者结合人工与合成监督信号。盲测读者对比显示 SceneWeave 优于基线流程与基于描述的对照组，内容评估表明叙事冗余减少且心理刻画更强。
arXiv cs.AIAI 评分3838 MetaExp：通过可验证跨任务环境扩展让模型从经验中自我改进
MetaExp 通过可验证任务族训练模型的经验学习能力，在 Qwen3.5-122B-A10B 上用 1,000 个任务族的 4,956 条轨迹微调，下游参数冻结下 SpreadsheetBench 提升 +8.5 分、AutomationBench 提升 +14.8 分，APEX-Agents 峰值 +2.3。
arXiv cs.CLAI 评分2424 摘要还是全文？生物医学通俗摘要的输入范围与计算效率评估
一项基于两个公开生物医学通俗摘要数据集和两个近期模型的研究发现，基于摘要的通俗摘要生成整体效果优于全文方法。摘要微调比全文方法快 4.70 倍，摘要零样本和少样本提示则快 5.31 倍，在保持通俗摘要质量的同时降低了运行成本。
arXiv cs.AIAI 评分2424 带统计量的 FlashAttention：面向紧凑幻觉检测器的低开销注意力特征
研究者提出在 FlashAttention 前向过程中直接累积注意力权重统计量，无需物化注意力矩阵，即可为幻觉检测器提供特征。在 H100 上，五个已发表检测器的统计量使 Qwen3-8B 在 2K token 时的前向延迟增加 16%，35K token 时降至 1.4%，每响应 token 仅存 22.5 KiB。
arXiv cs.CLAI 评分2424 大语言模型的数据策略：训练全生命周期的统一视角
这篇综述将 LLM 训练全生命周期的数据策略统一表述为在候选样本上分配训练预算的策略，并按决策粒度、模型依赖性和时间自适应性对方法进行分类。细粒度或状态依赖的策略控制力更强，但会带来额外的打分、搜索或 rollout 成本；跨模型规模的可迁移性和可比的端到端成本证据仍然有限。论文附带持续更新的论文列表与公开实现。
arXiv cs.CLAI 评分2222 研究：没有单一 tokenizer 特征能可靠预测下游语言模型性能
一项分析约 200 个语言模型（覆盖九种语言）的研究发现，现有各类 tokenizer 内在评测指标均无法在模型家族、任务和语言之间一致地预测下游性能。作者据此提出一个基于语言学的新指标，显示新指标能捕捉现有指标遗漏的 tokenizer 质量维度，但其预测能力仍可能因模型家族、语言和任务而异。该论文已被 EMNLP 2026 Findings 接收。
arXiv cs.AIAI 评分2929 工具增强 LLM 实现从患者笔记中可靠完成医学计算
研究者提出一种工具增强 LLM 框架，从患者笔记中可靠完成医学计算，在 MedCalc-Bench 上达到 86.73% 最终答案准确率，分别超过 one-shot prompting 和监督微调基线 24.0 和 17.27 个百分点。
arXiv cs.AIAI 评分2121 用嵌入模型与 LLM 精修 CASTON 本体：一种轻量可扩展的工作流
研究针对铸造领域本体 CASTON，提出结合微调本体嵌入模型与 LLM 的轻量精修工作流：嵌入模型先筛出少量候选公理及替换项，再由 LLM 给出修复建议。在小型专家评估中，采用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置，6 个高置信度替换全部被两位领域专家接受。实现代码已公开。
arXiv cs.CLAI 评分3434 ContextLift：打破条件性涌现错位背后的伪相关
针对语言模型在窄域错位数据上微调后出现的条件性涌现错位，研究者提出反事实增强方法 ContextLift：将一半安全数据行复制并逐字插入随机训练提示中的上下文句，对齐答案不变，从而打破上下文与错位答案的伪相关。
arXiv cs.AIAI 评分2626 TIR-EC：用工具调用强化学习提升急诊到达后预测，4B 模型超越传统 ML 基线
TIR-EC 是一个工具集成强化学习框架，将 EHR 特征组作为 LLM 可调用的工具，并用梯度提升树教师模型提供奖励信号。在三个临床预测任务上，其 4B 智能体取得所有对比模型中最高的 macro F1，超越传统 ML 基线，并与规模大得多的前沿 LLM 相当。分析显示它能以更少工具调用选出更有用证据，并更有效地组合测量数据。