用 GPT-2 建模上下文窗口与指代关系对句子理解的影响
研究系统改变 GPT-2 的上下文窗口大小，在四个大规模英语阅读时间数据集上发现 U 型关系：受限上下文（< 20 tokens）能捕捉局部记忆限制，但扩展上下文（500–1,000 tokens）整体心理语言学拟合度最高。
#推理
arXiv cs.CLAI 评分2222 arXiv cs.CLAI 评分4141 JevOut：自然上下文可翻转决策模型
研究提出 JevOut，通过概率引导的上下文优化生成看似自然的背景或流程性文字，在 Jev 等四个决策系统、七个数据集上，将每个系统 61.4%-73.2% 的初始正确决策重定向为预设错误选项。这些上下文不改变原问题和选项，却能影响高置信度决策并跨模型迁移；250 个样本的盲评中，91.6% 被三名独立标注者多数判定为自然且不改变答案。
arXiv cs.CLAI 评分2727 ELF-REG：将连续扩散语言模型扩展至推理任务
ELF-REG 将 Embedded Language Flows（ELF）扩展到 GSM8K、MATH-500、HumanEval 和 MBPP 上的数学推理与代码生成，通过 REPA+REG 让冻结的 AR 教师模型监督中间去噪特征。
arXiv cs.CLAI 评分1818 Gaokerena：面向消费级硬件的波斯语医疗小模型家族
针对波斯语等低资源语言医疗问答研究不足，论文提出 Gaokerena 系列紧凑型波斯语医疗语言模型，可在消费级硬件部署。
arXiv cs.CLAI 评分2424 EvoRubric：面向开放式生成的自进化评分标准驱动 RL 框架
EvoRubric 是一个协同进化 RL 框架，通过标准有效性反馈、响应区分度和同伴一致性学习开放式生成的评分标准，共享策略同时充当 Reasoner 与 Rubric Generator，冻结的初始策略副本作为 Meta-Verifier。
arXiv cs.CLAI 评分2525 UAB：面向自适应测试时推理的不确定性感知预算分配
研究者提出不确定性感知预算分配（UAB），一种凹整数优化框架，用初始采样得到的投票熵作为难度信号，将固定采样预算重新分配。在五个开源模型（1.5B–27B 参数）和五个推理基准上，UAB 相比均匀分配平均准确率提升 +2.3%，单项基准最高提升 +5.5%，低资源场景收益最大，且无需辅助模型或额外 LLM 调用。
arXiv cs.CLAI 评分3030 SkillGraph：通过演化技能图实现技能增强的智能体强化学习
SKILLGRAPH 将可复用技能表示为有向图节点，用带类型的边编码前置、增强与共现关系，检索时返回有序技能子图以指导多步决策。该图从智能体轨迹和强化学习反馈中持续更新，使技能库与策略协同改进。在 ALFWorld、WebShop 及七个搜索增强 QA 任务上，SKILLGRAPH 相较记忆增强 RL 方法取得 SOTA，在需组合多项技能的复杂任务上提升尤为显著。
arXiv cs.CLAI 评分2424 语言模型电路究竟告诉了我们什么？测量其一致性与特异性
研究在六个任务、五个模型上考察机制可解释性中"电路"的一致性与特异性，发现组件级电路（注意力头与 MLP 块）高度一致且因果重要，但不具特异性——消融本任务电路与消融其他任务电路造成的准确率下降幅度相近。
arXiv cs.CLAI 评分2222 MoE 语言模型中的路由重加权难以有效控制刻板印象
研究提出诊断框架 FARE，结合人口统计路由画像、经验层选择与固定推理时重加权，在五种 MoE 架构上测试路由级刻板印象控制。在选定操作点上，CrowS-Pairs 偏好变化最多 1.3 个百分点，DeepSeekMoE 未选择任何干预，唯一名义显著变化（Qwen1.5，p = 0.015）未通过多重比较校正。
arXiv cs.CLAI 评分2323 RAG-E：用局部解释量化 RAG 中检索器与生成器的对齐程度
研究者提出 RAG-E 端到端可解释性框架，通过适配 Integrated Gradients 分析检索器、用蒙特卡洛稳定化的 Shapley Value 近似做生成器归因，并引入 WARG 指标衡量生成器文档使用与检索器排序的对齐程度。
arXiv cs.CLAI 评分2424 GUI-KV：面向 GUI 智能体的时空感知 KV 缓存压缩方法
GUI-KV 是一种免重训练的即插即用 KV 缓存压缩方法，通过空间显著性引导与时间冗余评分两项技术，在标准 GUI 智能体基准上以较小缓存预算接近全缓存精度。在 AgentNetBench 的 5 张截图设置下，GUI-KV 相比全缓存基线将解码 FLOPs 降低 38.9%，同时步准确率提升 4.1%。
arXiv cs.CLAI 评分3838 SpaceCast-Bench：评估视觉语言模型的预测性空间推理
研究者推出 SpaceCast-Bench，首个直接诊断预测性空间推理的基准，基于 observe-transform-infer 框架，从 182 个真实场景构建 3,862 道题，覆盖静态感知、局部预测、全局预测三个层级共 16 种任务。
arXiv cs.CLAI 评分2727 SparseDecoding：面向解码的剪枝框架，实现精准高效的 LLM 推理
SparseDecoding 是一个面向解码的 LLM 剪枝框架，通过用稠密模型自回归生成（排除 prefill）阶段的逐层激活构建校准矩阵，使剪枝目标与解码激活对齐。该方法在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 上长文本生成基准中持续优于固定文本校准，并在 A100 GPU 上实现最高 1.48x 端到端解码加速。
arXiv cs.CLAI 评分2727 DiffuPlex：用滚动掩码扩散加速全双工语音对话模型
DiffuPlex 是一个滚动掩码扩散框架，通过单次骨干唤醒预测多个未来用户与助手帧，减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 两种推理策略分别实现 1.46× 和 1.59× 部署路径墙钟加速、1.61× 和 1.80× Core LM 加速，所有骨干调用均在 80ms 交互间隔内完成。
arXiv cs.CLAI 评分2222 群体策略优化中 KL 正则化为何失效：ZCPO 用条件 KL 校准组内奖励系数
针对移除参考策略 KL 正则化有时反而提升群体策略优化效果的现象，研究者分析了 KL 与奖励交互中的七种潜在失效模式，包括奖励裁剪后的残余 KL 更新、梯度抵消、同奖励组内 KL 增长、KL 随回复长度增长及贡献失衡、KL 集中于少量 token，以及将 k1 纳入奖励时的采样噪声。
arXiv cs.CLAI 评分2424 4-Tensor 注意力模型：面向语义物理现实的下一状态预测
研究者提出 4-tensor 注意力模型，用于预测场景的下一语义状态，面向视频生成与机器人规划。在 ROCStories 验证集上，其末句交叉熵在 H=2,L=2 时比自由运行的一维 Transformer 低 5.3%，H=4,L=2 时低 2.6%，H=4,L=3 时低 2.4%；H=4,L=2 下两者参数量接近，为 172.5M 与 175.9M。
arXiv cs.CLAI 评分2222 SAGE：面向视觉语言解码器视觉定位的注意力汇感知引导强调方法
针对视觉语言模型解码器注意力抑制视觉证据、加剧幻觉的问题，研究者提出轻量干预方法 SAGE（Sink-Aware Guided Emphasis）。该方法发现解码器早晚期层存在提示无关的注意力汇 PIS，而中间层才驱动视觉-语言对齐，据此用 CLIP、ViT、DINOv3 等视觉骨干生成的 token 对齐 ROI 掩码，将注意力从 PIS 引导至查询相关区域。
arXiv cs.CLAI 评分2323 超越语音描述：面向对话式 TTS 的语音奖励风格规划（SRSP）
研究者提出 Speech-Rewarded Style Planning（SRSP），通过冻结的下游 TTS 模型训练文本风格规划器，用 GRPO 以目标语音 token 的 teacher-forced 似然为奖励生成候选指令。
arXiv cs.CLAI 评分2424 为什么 On-Policy Distillation 有时会失败：学习信号消失
研究揭示 On-Policy Distillation（OPD）失败机制：在代码生成和数学推理任务中，使用更大规模教师的 OPD 出现早期损失平台，200 次更新后平均最终损失仅下降 25.1%，而自 RL 教师则下降 96.2%。
arXiv cs.CLAI 评分2727 ReadKV：面向 KV Cache 的查询自适应量化
ReadKV 提出一种查询自适应 KV cache 量化方法，将每个 key 和 value 存为渐进式编码，前缀支持不同重建精度，每个查询先按查询分配 key 通道前缀、再由重建 key 算出的注意力分配 value token 前缀，存储条目保持不变。
arXiv cs.CLAI 评分2727 扩散模型与自回归模型的统一解码调度理论：过渡定律的格结构
研究者将扩散模型、自回归（AR）模型及其中间形态统一描述为同一"损坏格"上的路径，并定义调度成本为并行步骤所丢弃的依赖关系。对于图上马尔可夫数据，零成本调度的最少步数等于图的 treedepth，该值随序列长度呈对数增长、随网格边长呈线性增长。在文本、图像和视频生成任务中，基于预训练权重估计的成对依赖核可在解码前预测不同调度的成本排名，且大部分预测得到验证。
arXiv cs.CLAI 评分2424 RAM-Net 如何桥接 KV-Cache 量化与线性注意力：从理论到预训练权重迁移
RAM-Net 被证明可在离散地址空间上通过软分配桥接 KV-cache 量化与线性注意力，其软地址分配将硬量化匹配扩展为可分离读写重叠，局部近似全注意力相似度并支持循环聚合。
arXiv cs.CLAI 评分2222 ICAP-Gate：为大音频语言模型提供机制引导的选择性听觉控制
针对任务无关音频会干扰大音频语言模型文本推理的问题，研究者提出 ICAP-Gate，对每个模型架构特定的晚期音频通路施加机制引导、任务条件化的控制。在 4 个 LALM、2 个推理基准和 16 组全量评估中，ICAP-Gate 的影响率与答案翻转率点估计均低于无门控推理；固定抑制会损害全部 4 个模型的 ASR 表现，而 ICAP-Gate 在显式音频需求指令下可保持与无门控相当的 ASR 性能。
arXiv cs.CLAI 评分4949 LLM 真能从上下文中的奖励学习吗？重新审视上下文强化学习中奖励的作用
研究者在四个 benchmark、六个模型上测试了直接上下文强化学习（direct ICRL），发现奖励虽被模型读取，但影响很小：翻转、随机化或移除奖励后，模型的改进曲线几乎不变，即使提示词明确要求探索、利用或对奖励推理也是如此。
arXiv cs.CLAI 评分3434 如何测量与缓解 RLVR 中的解法模式坍缩
研究提出 ModeBench 基准，其验证器同时返回正确性与所发现的解法模式，并用它测量 RLVR 后训练中解法多样性的变化：RLVR 会把概率集中到更少的正确模式上，即使准确率持平或提升，前沿模型也已高度集中。为此提出 Re:Max，将每种已发现模式的一个验证样例存入 replay buffer 并均匀训练，在三种模型规模、两种 RL 目标和更难任务上同时提升了成功率与解法多样性。
arXiv cs.CLAI 评分2121 LoopOPD：面向循环语言模型的动态跨循环在线策略蒸馏
研究提出 LoopOPD 跨循环在线策略蒸馏框架，用 LoopLM 内部冻结的终端循环策略作为中间循环学生的"计算特权教师"，在自生成 rollout 上提供稠密监督，无需外部教师或特权信息。
arXiv cs.CLAI 评分2525 VFold：对称感知的跨层 Value Cache 压缩
研究者提出 VFold，一种对称感知的 value cache 合并策略，可在解码时降低 KV cache 内存占用，且无需改动 LLM 架构、不带来明显性能损失。该方法还能与高比例量化或 key cache 剪枝等现有压缩技术叠加，达到单一方法无法实现的压缩比，额外开销极小。
arXiv cs.CLAI 评分2727 TokenRouter：面向 Token 级 LLM 路由的高效服务系统
TokenRouter 是面向 Token 级 LLM 路由的高效服务系统，采用"请求中心编程、模型中心执行"原则，为每个 LLM 启动子服务器并异步分发请求，子服务器使用延迟批处理调度器。在不同路由算法、负载和模型组合下，其解码吞吐量比现有系统高 2.01-64.15 倍，代码已开源，论文被 NeurIPS 2026 接收。
arXiv cs.CLAI 评分2727 Attic-KV：用自我测验式排练替代全文重读的 KV 缓存压缩方法
论文提出 Attic-KV（Attic），一种免训练的 KV 缓存压缩方法，用引用上下文的问答对让模型自我测验，替代传统的全文重读式排练。
arXiv cs.CLAI 评分2222 自然语言到一阶逻辑的 LLM 自动形式化综述
这篇被 EMNLP-2026 接收的论文为 FOL 自动形式化任务给出原则性定义，将本体抽取与逻辑翻译区分开，指出二者混淆会妨碍跨研究评估。文章还梳理了现有数据集、评测指标与基于 LLM 的方法，包括微调、提示和基于验证的改进，并指出基准测试、语义评估、本体感知方法和端到端应用方面的开放挑战。
arXiv cs.CLAI 评分2727 专用决策模型 Jev 与通用 LLM 对比：知识、推理与多语言任务基准测试
专用"System One"决策模型 Jev 在 13 个多项选择基准上与 19 个 LLM 对比，在知识与常识任务上媲美前沿 LLM，并在 MMLU-Redux 和 ARC-Challenge 上取得最佳成绩。
arXiv cs.CLAI 评分2222 BLT 的熵触发分块存在盲区：边界依赖信号能找回被跳过的计算结果
字节级模型 BLT 按下一字节熵值决定 patch 起点，会系统性跳过"类型可预测但数值需计算"的位置，如数学解题中"="后的结果。在 Meta BLT-1B 上，10% 字节设 patch 起点时熵规则仅答对 19.0% 的计算结果，每个"="后设边界可达 51.8%，熵结合无标签的边界依赖信号达 67.1%。该差距在低秩微调后仍存在（32.9% vs 72.7%），并随模型规模扩大而增大。
arXiv cs.CLAI 评分3737 LLM 的“思考惯性”：被要求别想时仍在推理
研究提出用 Empty-Thinking Rate、Question-Pre-answer Relevance 和 LLM-as-judge Explicit Inference Rate 三项指标衡量 LLM 的“不思考”行为，发现显式 no-think 控制无法可靠消除可见推理，模型表现出“思考惯性”。
arXiv cs.CLAI 评分3737 用 Prolog 探测语言模型的长程演绎推理能力
研究团队构建了 ProloNg 合成测试平台，用 Prolog 演绎逻辑考察 LLM 的长程推理能力，最难题目的推理深度达 22、上下文长度 62k。他们测试了 5 个前沿 LLM 家族的 8 个推理模型，发现性能随推理深度增加大幅下降，多数模型在深度超过 10 后接近随机水平。
arXiv cs.CLAI 评分2222 Residual Advantage：面向可验证奖励 RL 的学生相对教师引导方法
研究者提出 Residual Advantage（RA），将教师-学生概率残差作为有界单步奖励，减去学生策略下的状态价值构成标准优势，并在每条回答内中心化后叠加到验证器优势上，使教师仅在回答内部重新分配各步骤的信用。
arXiv cs.CLAI 评分2424 MARI：用结构化决策记忆蒸馏提升 LLM 推荐
针对 LLM 推荐中异构行为被压平成同质 token 序列、难以处理"困难选择"场景的问题，研究者提出 MARI（Memory-Augmented Recommendation with Interpretability）。
arXiv cs.CLAI 评分2222 AdaptEvo：用置信度自适应训练与知识进化应对不完美监督
AdaptEvo 框架通过置信度自适应策略优化与不断进化的决策知识及评估标准，在规则不完善、参考判断质量参差的场景下学习。其 CA-GRPO 按参考置信度平衡结果与过程奖励，Evolution 模块从反复失败中提炼可复用决策知识并改进过程评估标准。
arXiv cs.CLAI 评分2323 ReCal：面向同策略蒸馏恢复的结构化剪枝校准方法
研究者提出 RECAL（Recovery-Aware Calibration），一种即插即用方法，通过在剪枝前调整校准过程来改善结构化剪枝模型的同策略蒸馏（OPD）恢复效果。
arXiv cs.CLAI 评分2727 Lapras：面向时间序列语言模型的隐式推理后训练框架
Lapras 是一个为时间序列语言模型（TSLM）赋予隐式推理能力的后训练框架，模型在时间序列-语言联合空间中进行连续思维推理，仅对最终答案输出文本。在四个 TSLM 主干、五个时间序列问答基准上，Lapras 相比显式 CoT 平均 F1 最高提升 10.79%，同时生成 token 减少 23.9 倍。其连续思维还可通过标准语言解码还原为可读的推理轨迹，保留文本解释能力。
arXiv cs.CLAI 评分2222 稀疏注意力是矩阵近似，而非从一堆数值中挑选
针对稀疏注意力仅保留注意力矩阵中大数值或高权重区域的错误做法，研究者提出 Matrix Approximation Sparse Attention（MASA），用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减量。MASA 可作为即插即用修正项加入现有稀疏注意力框架，无需改动稀疏 kernel 或预算，在多种稀疏注意力方法、benchmark 和 LLM 主干上取得一致的准确率提升。