跳到正文
10月16日周五
  1. arXiv cs.AI32

    Agent Skill 框架:中小型语言模型在工业环境中的潜力研究

    一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。

  2. arXiv cs.AI27

    从自产数据中泛化:超越人类约束的模型训练框架

    该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架,核心是一个不可博弈的无界数值奖励(如磁盘占用空间或粉丝数),无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标,成功结果用于自我再训练和增量泛化,并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。

  3. arXiv cs.AI22

    Atomic-PPO:面向电动 Robo-Taxi 调度与充电桩分配的原子近端策略优化

    研究提出 Atomic-PPO 深度强化学习算法,通过原子动作分解缩减动作空间,以较低算力开销求解电动 Robo-Taxi 的车队调度与充电桩分配问题。基于纽约市真实网约车出行记录标定的仿真显示,该算法能产出接近最优的调度策略,并可作为系统评估工具。实验还表明,充电桩布局应贴合乘客需求分布,充电桩数量与充电速度需均衡投入,且充电基础设施应与车队规模协同规划。

  4. arXiv cs.CL24

    解决跨任务干扰:面向模型合并的专家适配方法 RI

    研究者提出轻量适配框架 Resolving Interference(RI),通过将各专家模型解耦为与其他任务空间功能正交,降低模型合并中的跨任务干扰。RI 仅需无标注辅助数据即可应用,在数据稀缺场景下也能使用,将 SOTA 合并方法性能最高提升 3.8%,对未见域泛化最高提升 2.3%。该方法对辅助输入来源稳健,且对合并超参数调优的敏感度显著更低。

  5. arXiv cs.CL22

    CE-RAG4EM:面向 LLM 实体匹配的成本高效 RAG 分块批处理框架

    研究者提出 CE-RAG4EM 框架,通过基于分块的批量检索与生成,降低 LLM 实体匹配中 RAG 的端到端开销。在九个真实实体匹配基准数据集上,该框架在零样本设置下取得相当或更优的匹配质量,并在属性模糊或数值稀疏的数据集上显著提升 F1 分数。分析还揭示了分块批量大小与检索粒度上的性能-开销权衡。

  6. arXiv cs.AI22

    重新思考现代 MoE 中的路由探索:MirrorMoE 如何化解探索困境

    研究指出现代 MoE 架构中细粒度专家分割与共享专家之间存在"探索困境":共享专家降低了 token 表示的多样性,削弱路由探索,而细粒度分割又因组合爆炸式扩大的路由空间更需要探索,导致其表达能力难以充分释放。为此提出的 MirrorMoE 通过 token 自适应抑制冗余专家来缩小探索空间,在不同模型规模上均稳定提升性能。

  7. arXiv cs.CL24

    AlignSAE:概念对齐的稀疏自编码器

    AlignSAE 通过“先预训练、后后训练”的两阶段方法,将稀疏自编码器(SAE)特征与预定义本体对齐,在 GPT-2 上实现精确因果干预,1-hop 概念替换成功率达 94.8%。其解耦效果较标准 SAE 提升 9 至 ∞ 倍(以互信息差衡量),并支持多跳推理与类 grokking 泛化动态的机制探针分析。该方法与模型无关,已发表于 TMLR。

  8. arXiv cs.CL24

    LLM 生成文本如何影响基于词项的检索模型?

    研究发现,LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性,文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见,而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。

  9. arXiv cs.AI34

    面向持续学习:用子空间微调(SST)缓解 LLM 灾难性遗忘

    研究者提出子空间微调(SST),将每次权重更新限制在底部奇异子空间,消除主方向上的变化,从而缓解 LLM 持续学习中的灾难性遗忘。SST 与优化器无关,可兼容 SFT 和自蒸馏,保护多达 99% 的权重子空间仍能保持目标任务的强劲表现,且该效果随模型与数据规模增大而增强,在大模型场景下几乎消除遗忘。相比基线方法,SST 的 KL 漂移减少 2–4 倍,推进了学习—遗忘的帕累托前沿。

  10. arXiv cs.AI52

    OS-Helix:在原生计算机智能体中统一 GUI 交互与代码执行

    OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。

  11. arXiv cs.AI22

    SCOPED:面向统一视觉语言模型的技能解耦同策略专家蒸馏

    研究者提出 SCOPED(技能解耦同策略专家蒸馏),通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中仅用技能监督专家、不向统一学生模型暴露技能,使其在推理时内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示技能增强可提升专家轨迹一致性、对任务相关视觉证据的关注度,并更好保留统一学生模型的专项能力。代码与数据已公开。

  12. arXiv cs.CL20

    利用语音基础模型的语言选择性维度进行语码转换检测

    研究者提出一种直接从语音中检测语码转换(CS)的轻量方法,利用预训练语音编码器帧级的语言选择性隐藏状态维度,聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。

  13. arXiv cs.AI27

    NOEMA:用时间建模与多模态对齐从 fMRI 解码自然语音

    NOEMA 是一种时间卷积解码器,将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐,实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10,显著优于基线解码器,且候选池加入数千个训练中未出现的干扰项后优势依然保持。

  14. arXiv cs.AI24

    GraphBEAT:基于图的时间分桶事件聚合用于胃肠道癌症早期风险分层

    GraphBEAT 是一个时序图表示学习框架,将临床事件按时间分桶并转化为患者特异性时序有向图,用于胃肠道癌症早期风险分层。在多站点纵向诊断编码与实验室检测数据上预测胰腺癌、肝癌和肠癌的 12、24、36 个月提前诊断,GraphBEAT 全面优于 GraphSAGE、GAT、GCN 及 Transformer、LSTM 基线。

  15. arXiv cs.CL24

    面向块扩散语言模型的无偏在线策略蒸馏框架 Un-OPD

    针对块扩散语言模型(BDLM)在线策略蒸馏(OPD)在大块尺寸下训练不稳定的问题,研究者提出无偏蒸馏框架 Un-OPD,通过边界感知步过滤消除师生块边界不匹配导致的上下文错位,并用支持度重平衡的置信度校准抑制高支持位置的过度自信崩溃。该框架还引入 rollout 复用机制降低生成开销,在数学推理与代码生成基准上稳定训练并将实际训练时间缩短约一半。

  16. arXiv cs.AI24

    持续机器学习加剧 Deepfake 检测中的不公平性

    研究追踪了在 11 种真实 Deepfake 生成方法的时间序列上渐进训练的检测器,发现准确率下降通常会加剧不公平性,而公平性随时间改善的情况很少。在 rehearsal、prompts、正则化三类持续学习方法中,不公平的遗忘无法仅用数据代表性不足解释,可能与表征学习纠缠。作者呼吁持续学习方法在平衡稳定性与可塑性时纳入社会结果考量。

  17. arXiv cs.AI22

    浅层神经网络为何先学正弦分量:一个正交多项式动力学框架

    该研究用正交多项式基将网络输出展开为广义傅里叶级数,把梯度下降动力学写成常微分方程,通过分析动力学矩阵 H 的特征值衰减与特征向量形状来解释频谱偏置。该框架可推广到 sigmoid、ReLU 等一般激活函数,对数据分布假设较弱,并避免有限域傅里叶分析中的混叠效应。

  18. arXiv cs.CL27

    脑到语言解码综述:任务、信号、方法、评估与实际应用

    一篇综述系统梳理了脑到语言解码研究,将神经活动转化为语言或表达输出,涵盖侵入式与非侵入式测量,检索无年份下限、来源更新至 2026 年 9 月。文章把 Articulated、Inner、Perceived 三类任务与其涉及的神经元群体、解码器可用表征及输出对应起来,并比较已发表性能与通信成本。

  19. arXiv cs.CL39

    Φ-Bench:大语言模型能否工程化支撑自身运行的基础设施?

    研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。

  20. arXiv cs.AI31

    语言嵌入在推荐系统中可能泄露超出预期的物品信息

    研究发现,当攻击者掌握外部来源的辅助物品文本时,一个简单的余弦相似度攻击即可在多个语言模型和候选集设置下以高平均倒数排名恢复物品身份,两个真实数据集上均验证了该泄露。物品泄露还可从稀疏评分进一步传播为用户重识别,而混淆描述虽能缓解泄露,却存在明显的泄露-效用权衡。