面向大语言模型高效持续学习的功能子网络定位
研究者提出 CiMEO 持续学习框架,通过梯度归因定位 LLM 中互重叠极低的功能子网络,将每个训练样本路由到对应子网络,仅更新选定区域的参数与优化器状态。在 140 万条序列指令上,CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能,并缓解灾难性遗忘。子空间重叠与主角度分析表明,局部化更新有助于保留预训练表示。
研究者提出 CiMEO 持续学习框架,通过梯度归因定位 LLM 中互重叠极低的功能子网络,将每个训练样本路由到对应子网络,仅更新选定区域的参数与优化器状态。在 140 万条序列指令上,CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能,并缓解灾难性遗忘。子空间重叠与主角度分析表明,局部化更新有助于保留预训练表示。
研究指出,机器遗忘评估仅衡量指定基准分布上的行为遗忘,不足以代表隐私保护效果。跨语言查询案例显示,多个多语言模型家族在查询语义等价但语言和文字不同的信息时,遗忘程度差异显著。单一访问路径即可暴露行为遗忘与信息不可获取之间的真实差距,需将访问路径泛化与对抗性可恢复性纳入评估。
CriticaLLM 是一个全自动游戏主持人框架,可运行完整 TTRPG 游戏,从生成多样化故事到管理探索与战斗阶段。研究用真实 TTRPG 玩家进行评估,并考察四种不同规模 LLM 生成剧情与反派角色的多样性。
研究者提出 SCRIBE,一个基于神经科学语义空间、用开源大语言模型集成生成可解释词级语义表征的框架。在 921 名参与者的行为研究中,SCRIBE 捕捉到人类语义特征判断随语境的变化,达到估计人类噪声上限的 75-81%;在自然故事聆听的脑活动数据上,其预测语言选择性脑区神经响应的表现显著优于非上下文语义表征。
研究针对音频大语言模型(AuLLMs)的性别偏见,用对抗方法让模型"遗忘"性别感知,且在其他基准任务上性能不降。作者进一步蒸馏出性别无关模型,使其能感知性别但响应与教师模型一致,除非被显式触发。方法在三个 AuLLMs 上测试,性别遗忘部分结果令人满意,蒸馏部分仅部分满意。
QREF 是一个即插即用的查询精炼器与证据过滤器,通过按当前推理意图重写搜索查询并保留相关证据,提升 DeepSearch 智能体性能。在四个基准上,WebSailor 的 Pass@1 平均相对提升 33.55%,TongyiDeepResearch 提升 11.04%,且无需修改架构或重训练推理策略。经强化学习训练的查询精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
针对持续学习智能体从任务流中提取的知识约 12–33% 会损害后续任务表现的问题,研究者提出 RIKA(Reliable Knowledge Acquisition),将事实、概念、程序与元认知知识的分层提取与基于证据的知识准入机制结合,无需额外验证任务即可决定哪些主张进入智能体上下文。
研究用覆盖 65 个神经认知语义属性的可解释上下文语义表征 SCRIBE,分解 LLaMA2-7B 与大脑的对齐。基于七名受试者收听 Moth Radio Hour 叙事故事的 fMRI 数据做方差分解,发现共享方差在全脑及语言相关区域均占主导,两种表征也各自保留显著独有贡献。具体语义属性的共享方差高于抽象属性,属性消融显示语义贡献跨多个维度累积。
SceneWeave 通过撰写焦点场景的对比版本、比较其产生的互动效果,再据此修改人物塑造、前置铺垫、后续发展与场景顺序,最终生成完整剧本,让实际场景写作反哺改编决策并贯穿全篇。该研究同时开发了专用写作模型与人类偏好模型,后者结合人工与合成监督信号。盲测读者对比显示 SceneWeave 优于基线流程与基于描述的对照组,内容评估表明叙事冗余减少且心理刻画更强。
ISW-Agent 将 LLM 对话解析与 n8n 工作流及独立科学模型结合,用于内孤立波遥感图像处理。在每后端 120 条中文指令测试中,GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率;50 个计时场景中 39 个完成检测、提取与预测,中位耗时 48.04 秒。3,408 次故障注入测试中,重试恢复 234 个瞬时故障,输出验证拒绝 234 个结构缺陷。
研究发现搜索增强 LLM 常直接依据搜索摘要作答而不打开来源页面,这与更高的过时答案率和引用不实相关。团队用训练截止后发生变化的时间性事实,测试了一个商用模型的联网搜索和六个开放权重模型的受控检索配置,发现证据可用性与实际使用之间存在明显落差。即使检索到的证据已影响模型内部预测,最终答案仍可能偏向过时信息。
MetaExp 通过可验证任务族训练模型的经验学习能力,在 Qwen3.5-122B-A10B 上用 1,000 个任务族的 4,956 条轨迹微调,下游参数冻结下 SpreadsheetBench 提升 +8.5 分、AutomationBench 提升 +14.8 分,APEX-Agents 峰值 +2.3。
一项基于两个公开生物医学通俗摘要数据集和两个近期模型的研究发现,基于摘要的通俗摘要生成整体效果优于全文方法。摘要微调比全文方法快 4.70 倍,摘要零样本和少样本提示则快 5.31 倍,在保持通俗摘要质量的同时降低了运行成本。
研究者提出在 FlashAttention 前向过程中直接累积注意力权重统计量,无需物化注意力矩阵,即可为幻觉检测器提供特征。在 H100 上,五个已发表检测器的统计量使 Qwen3-8B 在 2K token 时的前向延迟增加 16%,35K token 时降至 1.4%,每响应 token 仅存 22.5 KiB。
这篇综述将 LLM 训练全生命周期的数据策略统一表述为在候选样本上分配训练预算的策略,并按决策粒度、模型依赖性和时间自适应性对方法进行分类。细粒度或状态依赖的策略控制力更强,但会带来额外的打分、搜索或 rollout 成本;跨模型规模的可迁移性和可比的端到端成本证据仍然有限。论文附带持续更新的论文列表与公开实现。
AI 正被用于灾害响应与冲突监测,通过评估损失与紧急需求、追踪人口流离失所提供数据驱动的解决方案。机器学习算法还分析卫星影像与社会经济数据,用于预测贫困并推动可持续发展。相关研究同时涉及全球天气预报、可再生能源设计以及森林砍伐监测等气候议题。
一项分析约 200 个语言模型(覆盖九种语言)的研究发现,现有各类 tokenizer 内在评测指标均无法在模型家族、任务和语言之间一致地预测下游性能。作者据此提出一个基于语言学的新指标,显示新指标能捕捉现有指标遗漏的 tokenizer 质量维度,但其预测能力仍可能因模型家族、语言和任务而异。该论文已被 EMNLP 2026 Findings 接收。
研究者提出一种工具增强 LLM 框架,从患者笔记中可靠完成医学计算,在 MedCalc-Bench 上达到 86.73% 最终答案准确率,分别超过 one-shot prompting 和监督微调基线 24.0 和 17.27 个百分点。
针对多模态 RLVR 中组相对策略优化把序列级优势广播到每个 token、且自蒸馏信号无法区分图像依据与语言捷径的问题,研究者提出 PACE,通过四种教师视角下的成对 token 对比判断 token 支持是否依赖图像,并用自适应轨迹置信度调节信用重分配幅度。PACE 在三个骨干模型上取得最佳平均准确率,并在 Qwen3-VL-8B-Instruct 上于所有评测的多模态推理基准排名第一。
研究针对铸造领域本体 CASTON,提出结合微调本体嵌入模型与 LLM 的轻量精修工作流:嵌入模型先筛出少量候选公理及替换项,再由 LLM 给出修复建议。在小型专家评估中,采用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置,6 个高置信度替换全部被两位领域专家接受。实现代码已公开。
针对语言模型在窄域错位数据上微调后出现的条件性涌现错位,研究者提出反事实增强方法 ContextLift:将一半安全数据行复制并逐字插入随机训练提示中的上下文句,对齐答案不变,从而打破上下文与错位答案的伪相关。
TIR-EC 是一个工具集成强化学习框架,将 EHR 特征组作为 LLM 可调用的工具,并用梯度提升树教师模型提供奖励信号。在三个临床预测任务上,其 4B 智能体取得所有对比模型中最高的 macro F1,超越传统 ML 基线,并与规模大得多的前沿 LLM 相当。分析显示它能以更少工具调用选出更有用证据,并更有效地组合测量数据。
研究在九个模型和两个基准上评估工具图记忆,发现其相较基线很少带来显著提升,且即使有效也需付出超过两倍的 LLM 调用成本。其引导常不正确,随机或无引导仍保留大部分增益,说明收益来自额外计算而非记忆本身;将相同经验存为文本洞察则以几乎零额外调用超越工具图记忆。
研究者提出局部上下文蒸馏(LoCD),先定位学生轨迹中需要修正的关键片段,再由教师基于学生自身前缀重新生成这些片段并用于训练学生。在数学推理、代码生成和智能体任务上,LoCD 持续优于强基线,训练更稳定,参数更新更小更稀疏。
研究团队推出 DialFork,首个基于原始对话文本衡量"程序性幻觉"的基准——智能体话语流畅且事实合理,却偏离既定对话流程。该基准通过在受控轮次分叉合规对话并注入四类幻觉构建,覆盖 12 个领域 24 项任务共 36,278 段对话,由 30 名人工标注者验证。
研究者提出 SPRA(Structured Paper Representation for Agents),一种以持久化研究对象和类型化关系组织的论文级表示,其 empirical-AI 配置涵盖 Problems、Contributions、Components、ExperimentSetups、Measures 和 Findings。
一项对照研究测试了向寻址条件记忆注入知识的可写性:在冻结 GPT-2 上新增模块的 2×2 实验中,自然问题目标字符串命中率在仅行更新下平均 5.3%,无锚定投影更新为 28.7%,加锚定后为 22.0%,但严格答案得分均为零。
论文提出 JevAgentHarness,把智能体每一步的工具选择等决策委托给决策模型,仅在置信度低于阈值时交由 LLM 决定。作者构建 AgentDecisionBench,覆盖从孤立问题到控制运行中智能体的测试;孤立问题上最准的决策模型仅解决 69.5% 的智能体任务,未拟合置信度阈值时委托工具选择会使成功率下降 19.0 个百分点。
研究提出同策略提醒蒸馏(OPRD),通过多范围提醒监督与基于结果的路由,在无提醒的学生 rollout 上训练长程编程智能体,推理时学生无需提醒即可运行。
Jev-LiteMAS 通过将多智能体工作流中的路由与审查操作交给轻量决策模型 Jev,在四个基准和两个骨干模型上将生成式 LLM token 消耗较 LAS 降低 12.7-54.6%,准确率差距控制在 1.34 个百分点以内,八种设置中有七种延迟下降。
研究者发布包含 83 部已出版作品的基准,用于衡量语言模型能否讲述非线性故事,并为每部作品标注事件的时间顺序与叙述顺序,以及涵盖因果依赖、角色知识和悬念设置的故事图。
研究者提出 MemCut,一个针对 LLM 智能体用户请求遗忘能力的系统性基准,包含 456 个手工设计的秘密及其完整标注的证据链,用于测试删除后的信息恢复。基准定义原生恢复与残差恢复两项指标,并在五种记忆设计和四种 LLM 上建立三个参考删除基线。结果显示,LLM 引导删除二十个检索候选中的额外十轮对话后,仍残留 39-76% 的恢复率,候选覆盖不足是现有基线的瓶颈。
SpecAgent 是一种协作协议,让弱模型在只读工具调用中起草步骤、强模型通过单次 prefill 并行验证并提交最长语义有效前缀,从而把强模型从每步生成者变为审校者。
研究者提出 DCBench-440,用于测试 LLM 对 AI 数据中心建设承诺的反事实推理能力,包含 200 道基于 STRIPS 世界的生成题和 240 道基于站点记录与排放公式的选择题。开放权重模型生成题准确率 12.5-71.5%,选择题 58.3-92.5%;在列出决策节点所有可选动作时,无模型精确匹配超过 4.0%,最强模型仅列出 72-85% 会改变项目状态的动作。
研究者提出 TITAN 机制框架,结合因果干预、稀疏特征分解与定向偏好优化,识别并优化 Transformer 中关键的翻译电路,仅更新不到 5% 的模型参数。
研究系统考察了 LLM 检测和纠正车辆路径问题(VRP)实例错误的能力,发现其在复杂实例或大幅增加推理负担的错误上存在明显局限。为此提出自引导推理框架,让 LLM 自主生成代码提供结构化洞察以辅助错误诊断。在多种问题设置和 LLM 上的实验表明,该框架显著提升错误检测性能,达到接近完美的准确率。
研究者提出 SITAR,一种面向自动语音识别(ASR)的情境失真度量,通过有界递归公式将情境严重度与累积范围聚合为统一分数,并训练为轻量级 BERT 家族回归器,单次前向传播即可为参考-假设对打分,无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性,显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。
一种名为 SIF 的强化学习方法通过比较多个窗口与同伴的 token 级自置信度排序,仅在样本级和组级投票均达标时给予正向奖励,并筛选参与策略优化的响应。
HyCo 将服务器模型原生多 token 预测(MTP)头的深度草拟放到设备端执行,替代分支则交给一次 SLM 前向,服务器只返回该头所需的隐藏状态、输入嵌入和 KV 条目。
研究提出分层图卷积网络(HGCN),可检测文档内部不一致以及标题与正文不符,并基于已发表新闻数据及元数据构建了 Inconsistency Dataset。HGCN 在该数据集上取得 91.20% 的准确率,优于对比模型;在公开的标题正文不符数据集上达到 92.00%。消融实验证实元数据的使用对性能提升有显著作用。