字节级模型该在哪里分配算力：BLT 的 novelty patching 压缩视角
针对 Byte Latent Transformer（BLT）按下一字节熵值划分 patch 会跳过算式结果的问题，研究者提出基于 LZ77 压缩思想的 novelty patching：在字节不太可能重复近期上下文处开启 patch，该规则仅需一张基于前两字节的查找表，数秒内即可在无标签原始文本上拟合完成。
论文
论文
arXiv cs.CLAI 评分3131 arXiv cs.AIAI 评分3939 大语言模型自我改进问题：为何自动化评估门无法同时保证可靠性与非保守性
随着大语言模型驱动的智能体开始自主写代码、调用工具并修改自身组件，arXiv 论文《The Self-Improvement Problem》形式化了一个结构性矛盾：评估门必须是可终止的计算过程，而"真正的语义改进"依赖可能无界的程序行为，因此不存在任何终止性程序能同时保证可靠性（绝不接受非改进）与非保守性（绝不漏掉可用改进），随机化门在有限误差下同样受限。
arXiv cs.CLAI 评分2929 Multi-SFT：可商用许可的多语言指令跟随数据集
Multi-SFT 是一个可商用许可的多语言指令跟随数据集，包含五种欧洲语言的 502,818 条指令-响应对，通过翻译与重新生成流程构建。研究团队微调了 EuroLLM、OLMo 2、Qwen3 三个家族共九款模型（1B-32B），在 13 个基准上评测，结果显示 Multi-SFT 单独使用即可媲美更大的增强混合数据集和官方指令微调版本，在安全任务上优势尤为明显。
arXiv cs.AIAI 评分3232 AgentPerturb：评估 LLM 智能体在受控交互扰动下的鲁棒性
研究团队提出 AgentPerturb，从扰动目标与类型两个维度构建统一框架，评估 LLM 智能体在交互扰动下的鲁棒性。在 APEX-Agents 和 Toolathlon 上的受控评测显示，扰动会持续拉低性能，且主要脆弱点因任务环境而异；轨迹分析发现智能体很少识别被篡改的输入，常未经核验就传播被污染的信息，成功完成扰动轨迹还可能消耗更多算力。
arXiv cs.CLAI 评分2222 字节顺序如何影响多语言边界预测：UTF-16 编码方案 UBE 将字素边界错误降至 0.06%
一种名为 Universal Byte-Level Encoding（UBE）的编码方案将三字节 UTF-8 码点改写为两个 UTF-16 字节（低字节在前），使首个符号携带 8 个低位码点位以区分字素延续与下一字母。
arXiv cs.AIAI 评分2727 潜在世界模型中的内在动力学学习：Concat IDM 用动作可预测性提升视觉多样性下的规划成功率
研究提出以动作可预测性作为归纳偏置来保留世界模型的内在动力学，并实例化为 Concat IDM——从拼接的潜在状态预测动作，利用离线轨迹中已有的动作标签更新共享编码器，且不改变测试时的规划器。在 Push-T 的 24 种外观设置下，三次独立训练中 Concat IDM 将规划成功率从 9.1% 提升至 77.2%，其配对提升比单一外观设置高出 52.9 个百分点。
arXiv cs.CLAI 评分3131 超越上下文长度：刻画长上下文推理的难度
研究者构建了 LURCH 基准，包含 6,550 个多领域问答实例及支撑证据与推理图，用证据范围、证据分散度和推理深度三个属性量化长上下文推理难度。对闭源与开源权重模型的评测显示，在固定上下文长度下，这三个属性均与模型表现强负相关；上下文变长时，证据分散的样本性能急剧下降，而证据集中的样本相对稳定。三个属性还会叠加放大难度，三者均中等偏高的题目比仅一项极端的题目更难。
arXiv cs.AIAI 评分2626 如何评估 LLM 智能体的探究学习能力：假设、推理与探索
研究者提出一个统一交互式框架，用于评估 LLM 智能体的完整探究能力：将 Countdown 任务扩展为数学环境，让智能体通过操纵变量、收集观察来推断变量间关系。在 7 个 LLM 和多种提示策略下，实验显示模型固有探究能力有限、发现底层表达式的成功率偏低，但受教学脚手架启发的结构化引导能显著提升表现。
arXiv cs.CLAI 评分3131 大语言模型中的姓名偏见研究
一项针对6个本地大语言模型的评估发现，模型在填空任务中系统性偏好刻板印象中男性化程度更低、更年长、更常见及白人姓名。研究基于30万条模型回复，发现性别偏见最显著，其次为年龄、姓名流行度和种族，且姓名偏见高度依赖句子模板。
arXiv cs.AIAI 评分2727 LoopAhead：为 Looped Transformer 加速解码的推测框架
LoopAhead 是一个面向 Looped Transformer 的推测解码框架，通过轻量级前瞻草稿器（LAD）利用早期循环状态预测多个未来 token，并由深层循环反馈决定草稿分支的继续或暂停，最终由全深度模型做 token 决策。该方法在保持目标模型输出分布的同时，实现最高 7.82 倍的解码加速。
arXiv cs.CLAI 评分3636 为智能体后训练预热的基座模型：一套开放 midtraining 配方
研究者公开了一套面向智能体后训练的 midtraining 配方，并在 Nemotron 3.5 Lightning 和 Nemotron 3.5 Super 两个模型上验证效果。
arXiv cs.AIAI 评分2424 LOADBench：面向 IC 设计机器学习的大型开放模拟数据集与基准
LOADBench 发布了一个面向模拟 IC 设计机器学习的大型开源数据集与标准化基准，包含 SkyWater130 PDK 中 100 多种运放拓扑（1、2、3 级），每种拓扑附带结构与功能标注、尺寸约束、Ngspice testbench，以及 NSGA-II 多目标尺寸优化产生的约 10³ 个 Pareto 最优和 10⁶ 个中间尺寸-性能数据对。
arXiv cs.CLAI 评分2222 通过多教师蒸馏学习语音属性表示
研究提出一种多属性多教师蒸馏框架，用共享 SSL 骨干网络和属性专属分支，从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，该模型性能接近专用单任务学生模型，且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。
arXiv cs.AIAI 评分2222 ClaimScope：面向数学主张审计的标签盲见证验证基准
研究者提出 ClaimScope，一个包含 72 项任务的基准，通过裁决、范围、反例与修复四个环节审计数学主张，覆盖优化器状态传输、有限时域仿射递推和精确 2×2 线性代数。
arXiv cs.CLAI 评分2727 TEM：面向大语言模型智能体的时序状态追踪记忆框架
研究者提出免训练框架 TEM（Temporal State Tracking Memory），将事实存为带版本、关联来源的记录，按来源顺序排列并标注历史记录后再交给答案模型。
arXiv cs.AIAI 评分2424 强化学习驱动的扩散模型：语言、视觉及更多领域的综述
这篇综述首次系统梳理了强化学习驱动的扩散模型（RL-driven DMs），探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式，覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法，并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收，并构建了公开仓库持续追踪该领域进展。
arXiv cs.CLAI 评分2222 TagInsert：Transformer 序列生成中的动态顺序，低资源标注场景实验
基于 Transformer 的 TagInsert 模型移除解码器侧注意力掩码，让模型在推理时自行决定标签生成顺序，从而打破常见的从左到右（L2R）生成范式。
arXiv cs.AIAI 评分2626 面向大语言模型高效持续学习的功能子网络定位
研究者提出 CiMEO 持续学习框架，通过梯度归因定位 LLM 中互重叠极低的功能子网络，将每个训练样本路由到对应子网络，仅更新选定区域的参数与优化器状态。在 140 万条序列指令上，CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能，并缓解灾难性遗忘。子空间重叠与主角度分析表明，局部化更新有助于保留预训练表示。
arXiv cs.CLAI 评分2626 行为遗忘不等于隐私：机器遗忘评估的跨语言漏洞
研究指出，机器遗忘评估仅衡量指定基准分布上的行为遗忘，不足以代表隐私保护效果。跨语言查询案例显示，多个多语言模型家族在查询语义等价但语言和文字不同的信息时，遗忘程度差异显著。单一访问路径即可暴露行为遗忘与信息不可获取之间的真实差距，需将访问路径泛化与对抗性可恢复性纳入评估。
arXiv cs.AIAI 评分2727 CriticaLLM：用 LLM 作为桌面角色扮演游戏的自主游戏主持人
CriticaLLM 是一个全自动游戏主持人框架，可运行完整 TTRPG 游戏，从生成多样化故事到管理探索与战斗阶段。研究用真实 TTRPG 玩家进行评估，并考察四种不同规模 LLM 生成剧情与反派角色的多样性。
arXiv cs.AIAI 评分2929 SCRIBE：可扩展的可解释脑语义上下文表征框架
研究者提出 SCRIBE，一个基于神经科学语义空间、用开源大语言模型集成生成可解释词级语义表征的框架。在 921 名参与者的行为研究中，SCRIBE 捕捉到人类语义特征判断随语境的变化，达到估计人类噪声上限的 75-81%；在自然故事聆听的脑活动数据上，其预测语言选择性脑区神经响应的表现显著优于非上下文语义表征。
arXiv cs.CLAI 评分2222 通过对抗训练与蒸馏方法缓解音频大语言模型的偏见
研究针对音频大语言模型（AuLLMs）的性别偏见，用对抗方法让模型"遗忘"性别感知，且在其他基准任务上性能不降。作者进一步蒸馏出性别无关模型，使其能感知性别但响应与教师模型一致，除非被显式触发。方法在三个 AuLLMs 上测试，性别遗忘部分结果令人满意，蒸馏部分仅部分满意。
arXiv cs.AIAI 评分3838 QREF：通过查询精炼与证据过滤对齐搜索与推理，提升 DeepSearch 智能体
QREF 是一个即插即用的查询精炼器与证据过滤器，通过按当前推理意图重写搜索查询并保留相关证据，提升 DeepSearch 智能体性能。在四个基准上，WebSailor 的 Pass@1 平均相对提升 33.55%，TongyiDeepResearch 提升 11.04%，且无需修改架构或重训练推理策略。经强化学习训练的查询精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
arXiv cs.CLAI 评分2929 RIKA：面向持续学习智能体的可靠知识获取方法
针对持续学习智能体从任务流中提取的知识约 12–33% 会损害后续任务表现的问题，研究者提出 RIKA（Reliable Knowledge Acquisition），将事实、概念、程序与元认知知识的分层提取与基于证据的知识准入机制结合，无需额外验证任务即可决定哪些主张进入智能体上下文。
arXiv cs.AIAI 评分2222 用可解释语义表征分解大脑与 LLaMA2-7B 的对齐
研究用覆盖 65 个神经认知语义属性的可解释上下文语义表征 SCRIBE，分解 LLaMA2-7B 与大脑的对齐。基于七名受试者收听 Moth Radio Hour 叙事故事的 fMRI 数据做方差分解，发现共享方差在全脑及语言相关区域均占主导，两种表征也各自保留显著独有贡献。具体语义属性的共享方差高于抽象属性，属性消融显示语义贡献跨多个维度累积。
arXiv cs.CLAI 评分2222 SceneWeave：面向戏剧改编的受众引导场景探索
SceneWeave 通过撰写焦点场景的对比版本、比较其产生的互动效果，再据此修改人物塑造、前置铺垫、后续发展与场景顺序，最终生成完整剧本，让实际场景写作反哺改编决策并贯穿全篇。该研究同时开发了专用写作模型与人类偏好模型，后者结合人工与合成监督信号。盲测读者对比显示 SceneWeave 优于基线流程与基于描述的对照组，内容评估表明叙事冗余减少且心理刻画更强。
arXiv cs.AIAI 评分2222 ISW-Agent：LLM 对话驱动 n8n 工作流处理内孤立波遥感图像
ISW-Agent 将 LLM 对话解析与 n8n 工作流及独立科学模型结合，用于内孤立波遥感图像处理。在每后端 120 条中文指令测试中，GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率；50 个计时场景中 39 个完成检测、提取与预测，中位耗时 48.04 秒。3,408 次故障注入测试中，重试恢复 234 个瞬时故障，输出验证拒绝 234 个结构缺陷。
arXiv cs.CLAI 评分4444 检索到了却没读：搜索增强 LLM 为何用不上已有证据
研究发现搜索增强 LLM 常直接依据搜索摘要作答而不打开来源页面，这与更高的过时答案率和引用不实相关。团队用训练截止后发生变化的时间性事实，测试了一个商用模型的联网搜索和六个开放权重模型的受控检索配置，发现证据可用性与实际使用之间存在明显落差。即使检索到的证据已影响模型内部预测，最终答案仍可能偏向过时信息。
arXiv cs.AIAI 评分3838 MetaExp：通过可验证跨任务环境扩展让模型从经验中自我改进
MetaExp 通过可验证任务族训练模型的经验学习能力，在 Qwen3.5-122B-A10B 上用 1,000 个任务族的 4,956 条轨迹微调，下游参数冻结下 SpreadsheetBench 提升 +8.5 分、AutomationBench 提升 +14.8 分，APEX-Agents 峰值 +2.3。
arXiv cs.CLAI 评分2424 摘要还是全文？生物医学通俗摘要的输入范围与计算效率评估
一项基于两个公开生物医学通俗摘要数据集和两个近期模型的研究发现，基于摘要的通俗摘要生成整体效果优于全文方法。摘要微调比全文方法快 4.70 倍，摘要零样本和少样本提示则快 5.31 倍，在保持通俗摘要质量的同时降低了运行成本。
arXiv cs.AIAI 评分2424 带统计量的 FlashAttention：面向紧凑幻觉检测器的低开销注意力特征
研究者提出在 FlashAttention 前向过程中直接累积注意力权重统计量，无需物化注意力矩阵，即可为幻觉检测器提供特征。在 H100 上，五个已发表检测器的统计量使 Qwen3-8B 在 2K token 时的前向延迟增加 16%，35K token 时降至 1.4%，每响应 token 仅存 22.5 KiB。
arXiv cs.CLAI 评分2424 大语言模型的数据策略：训练全生命周期的统一视角
这篇综述将 LLM 训练全生命周期的数据策略统一表述为在候选样本上分配训练预算的策略，并按决策粒度、模型依赖性和时间自适应性对方法进行分类。细粒度或状态依赖的策略控制力更强，但会带来额外的打分、搜索或 rollout 成本；跨模型规模的可迁移性和可比的端到端成本证据仍然有限。论文附带持续更新的论文列表与公开实现。
arXiv cs.AIAI 评分2020 AI 驱动的灾害响应与流离失所监测
AI 正被用于灾害响应与冲突监测，通过评估损失与紧急需求、追踪人口流离失所提供数据驱动的解决方案。机器学习算法还分析卫星影像与社会经济数据，用于预测贫困并推动可持续发展。相关研究同时涉及全球天气预报、可再生能源设计以及森林砍伐监测等气候议题。
arXiv cs.CLAI 评分2222 研究：没有单一 tokenizer 特征能可靠预测下游语言模型性能
一项分析约 200 个语言模型（覆盖九种语言）的研究发现，现有各类 tokenizer 内在评测指标均无法在模型家族、任务和语言之间一致地预测下游性能。作者据此提出一个基于语言学的新指标，显示新指标能捕捉现有指标遗漏的 tokenizer 质量维度，但其预测能力仍可能因模型家族、语言和任务而异。该论文已被 EMNLP 2026 Findings 接收。
arXiv cs.AIAI 评分2929 工具增强 LLM 实现从患者笔记中可靠完成医学计算
研究者提出一种工具增强 LLM 框架，从患者笔记中可靠完成医学计算，在 MedCalc-Bench 上达到 86.73% 最终答案准确率，分别超过 one-shot prompting 和监督微调基线 24.0 和 17.27 个百分点。
arXiv cs.CLAI 评分2222 PACE：用成对 token 对比与自适应轨迹置信度增强多模态 RLVR
针对多模态 RLVR 中组相对策略优化把序列级优势广播到每个 token、且自蒸馏信号无法区分图像依据与语言捷径的问题，研究者提出 PACE，通过四种教师视角下的成对 token 对比判断 token 支持是否依赖图像，并用自适应轨迹置信度调节信用重分配幅度。PACE 在三个骨干模型上取得最佳平均准确率，并在 Qwen3-VL-8B-Instruct 上于所有评测的多模态推理基准排名第一。
arXiv cs.AIAI 评分2121 用嵌入模型与 LLM 精修 CASTON 本体：一种轻量可扩展的工作流
研究针对铸造领域本体 CASTON，提出结合微调本体嵌入模型与 LLM 的轻量精修工作流：嵌入模型先筛出少量候选公理及替换项，再由 LLM 给出修复建议。在小型专家评估中，采用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置，6 个高置信度替换全部被两位领域专家接受。实现代码已公开。
arXiv cs.CLAI 评分3434 ContextLift：打破条件性涌现错位背后的伪相关
针对语言模型在窄域错位数据上微调后出现的条件性涌现错位，研究者提出反事实增强方法 ContextLift：将一半安全数据行复制并逐字插入随机训练提示中的上下文句，对齐答案不变，从而打破上下文与错位答案的伪相关。
arXiv cs.AIAI 评分2626 TIR-EC：用工具调用强化学习提升急诊到达后预测，4B 模型超越传统 ML 基线
TIR-EC 是一个工具集成强化学习框架，将 EHR 特征组作为 LLM 可调用的工具，并用梯度提升树教师模型提供奖励信号。在三个临床预测任务上，其 4B 智能体取得所有对比模型中最高的 macro F1，超越传统 ML 基线，并与规模大得多的前沿 LLM 相当。分析显示它能以更少工具调用选出更有用证据，并更有效地组合测量数据。
arXiv cs.CLAI 评分3232 重新审视工具图记忆在多轮工具调用中的作用
研究在九个模型和两个基准上评估工具图记忆，发现其相较基线很少带来显著提升，且即使有效也需付出超过两倍的 LLM 调用成本。其引导常不正确，随机或无引导仍保留大部分增益，说明收益来自额外计算而非记忆本身；将相同经验存为文本洞察则以几乎零额外调用超越工具图记忆。
共 2000 篇论文