跳到正文
10月9日周五
  1. arXiv cs.AI22

    将英语质量分类器适配于多语言 LLM 预训练数据筛选

    一项研究提出多语言适配方法,将现有英语质量分类器扩展至 100 多种语言,用于 LLM 预训练数据筛选。该方法在 Transformer encoder-only 模型嵌入之上训练小型多层感知机,以英语分类器对机器翻译文本的打分为标签。1B、3B 和 8B 规模实验显示,其下游 LLM benchmark 表现与现有多语言基于模型的筛选基线相当,且未损害区域与文化知识基准。

  2. arXiv cs.AI30

    本地 LLM 智能体能否产出可复现的数据工程产物?一项针对出行工作流的实证研究

    一项针对出行工作流的实证研究评估了本地开源权重 LLM 智能体生成可复现数据工程产物的能力,覆盖数据发现、连接器、语义增强、特征工程、验证与报告等 15 项任务。在超过 20 亿参数的模型中,闭环工作区条件将通过率较单次生成提升 26.7-52.0 个百分点,最佳配置达到 85.3% 的产物级成功率,量化后的 90 亿参数模型以约 6.5 GB 显存占用达到 69.3%。

  3. arXiv cs.AI36

    无需双向教师模型:条件残差预测(CRP)提升自回归视频扩散模型

    研究者提出条件残差预测(CRP),让因果视频扩散模型先不带条件预测目标、条件仅用于叠加残差,从而减少对历史帧的依赖。在受控实验中,CRP 几乎抹平了与同规模双向模型之间 6.14 分的差距。基于该方法训练的 2B 参数因果视频模型 Optica 可自回归生成 5 秒 480p 视频,仅用约 15M 训练视频即在 VBench 上达到 82.78 分。

  4. arXiv cs.AI18

    面向可信脑肿瘤分割的缺失模态感知校准方法 MMA-LTS

    针对多模态脑肿瘤分割中模态缺失导致置信度校准失准的问题,研究者提出缺失模态感知局部温度缩放(MMA-LTS),一种基于体素的事后置信度校准方法,通过模态可用性可学习 token 与体素级难度分数估计空间自适应温度场。在 BraTS 2020 和 FeTS 2024 上,MMA-LTS 在多种模态缺失场景下改善了校准效果,同时保持 SOTA 模型的分割精度。

  5. arXiv cs.AI29

    从几何到泛化:行归一化为何能胜过 Adam 和 Muon

    研究表明,在高维多分类任务中,行归一化(row-wise normalization)的总体准确率严格高于全批量 Adam 和精确 SVD Muon。其优势源于行归一化的类间欧氏几何能渐近保留总体决策边界方向,而 Adam 的坐标几何与 Muon 的谱几何会引入不可忽略的扭曲。该优势在幂律谱、强各向异性噪声下依然成立,合成实验与语言模型末层实验均予支持。

  6. arXiv cs.AI26

    LLM 代码生成中的过度自信失败问题研究

    研究针对 LLM 代码生成中错误程序常以与正确程序相当的 token 级置信度输出的过度自信困境,在四个开源代码模型和三个基于执行的基准上展开分析。结果显示,现有不确定性信号仅提供部分且依赖模型的执行失败证据,程序级与 token 级过度自信均持续存在,基于不确定性的筛选无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别,常见缓解手段也无法可靠解决该失败模式。

  7. arXiv cs.AI27

    如何在代理模型上做后训练:包络采样缓解奖励攻击

    针对 LLM 后训练中因代理奖励失准导致的奖励攻击问题,研究者提出包络采样(envelope sampling),通过最小化后训练模型遗憾上界来重校准 LLM 评判器。该方法可用拒绝采样或针对修改后奖励微调实现,在临床笔记生成和受控谄媚任务上,基于包络样本的重校准缓解了奖励攻击,而基于基座模型样本的重校准则无效。

  8. arXiv cs.AI24

    Gated Memory:面向对话式 AI 的准入控制记忆形成框架

    Gated Memory 是一个轻量模块化记忆形成框架,在对话与存储之间加入两道决策检查点:准入闸门在抽取前结合完整话语上下文评估每个候选事实,条件化增强阶段则通过带隐私约束的实体范围分类体系对已准入事实进行落地。在 LoCoMo-10 基准上,该框架在检索与生成完全相同的情况下,LLM-judge 准确率相对强基线提升 2.6%,表明记忆形成质量是可测量的性能约束。

  9. arXiv cs.AI22

    高阶动作监督让策略类更强:一种即插即用的离线 RL 损失方案

    研究者提出一种新的损失方案,可同时监督零阶与一阶动作,让任意现成策略模型(确定性、随机或 flow 策略)无需结构改动即可获得高阶动作监督能力。该方法可作为轻量即插即用模块接入多种现有离线 RL 框架,在 OGBench 和 D4RL 上显著提升连续控制任务的性能与鲁棒性,并在低数据场景下增强 OOD 泛化能力。论文已被 NeurIPS 2026 接收。

  10. arXiv cs.AI28

    ActiveMedAgent:面向多模态医疗诊断的成本感知轨迹学习

    ActiveMedAgent 提出一种成本感知的序贯诊断框架,在冻结的 API 视觉语言模型上追踪候选诊断概率分布,并按每步诊断效用减去成本对证据采集打分,再用轻量 MLP 控制器离线学习何时追加证据、何时给出结论。在三个常用基准上,基于轨迹的策略学习持续优于无引导采集和全模态基线;研究还发现信息过载效应,175 个案例中智能体用更少通道即得出正确诊断,而全模态基线失败。

  11. arXiv cs.AI22

    SVC:通过奇异向量通道选择平衡 LLM 持续学习中的稳定性与可塑性

    研究者提出参数高效持续学习方法 SVC,以奇异向量通道为单元,用领域数据估计各通道的适应收益、以固定公开通用语料作为历史激活代理估计遗忘成本,再经 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在四个 LLM 系列、八项下游任务上,SVC 相比现有 PEFT 基线更好地保留预训练能力,同时取得较强的下游表现。

  12. arXiv cs.AI22

    AffordDrive3D:面向自动驾驶的可供性与几何感知世界-动作模型

    AffordDrive3D 是一个可供性与几何感知的世界-动作模型,联合学习未来动作相关区域与空间结构,在 VLM 主干上预测可行驶区域和碰撞关键区域,并从 RGB 世界模型隐变量预测未来几何。在 NAVSIM 上,该模型以 91.3 PDMS 和 89.9 EPDMS 取得 SOTA 表现,验证了联合建模未来可供性与几何对轨迹规划的有效性。

  13. arXiv cs.AI24

    DAG-EDA:用意图图导航探索性数据分析的推理空间

    研究者提出 DAG-EDA 系统,让分析师与 LLM 通过两个关联结构共同导航可能的分析空间:受分析意图语法约束的意图图将模糊的自然语言问题逐步分解为具体分析任务,并保留备选框架供分析师分支、回溯和比较;多层知识图谱则外化 LLM 的领域知识,把领域概念与可测量这些概念的数据集变量关联起来。两个图仅由数据集和分析师的问题构建,最终分析以交互式仪表盘呈现,论文还给出了使用场景与用户研究设计。

  14. arXiv cs.AI34

    在原始视频上对语言模型进行中期训练

    研究团队将 Qwen3-1.7B 在 YT-Temporal-1B 的原始无字幕视频片段上进行中期训练,让模型学习预测下一个视觉 token。中期训练后的模型在四个视频基准上平均提升 2.9 分,在十个图像基准上平均提升 5.1 分,涵盖感知、文档和图表任务;14 个文本基准平均分为 48.9,未中期训练的模型为 48.0。

  15. arXiv cs.AI27

    MemoWM:世界模型如何改变智能体的记忆需求

    MemoWM 框架利用世界模型的共享预测压缩智能体保留的信息并重建被省略内容,在五个长期智能体记忆基准上平均答案准确率达 42.42%,超出最强基线 2.62 个百分点,同时相比存储效率最高的基线 MIRIX 将平均单条经验存储降低 53.9%。分析显示,更强的世界模型可在任务质量相当的情况下减少每条经验的存储,而模型参数与存储成本之间存在权衡,保留的交互越多,最小化总存储所需容量越大。

  16. arXiv cs.AI23

    面向大规模对话分析的语句归一化方法:Clarify, Then Focus

    研究者提出"先澄清、再聚焦"的语句归一化方法,将对话转化为带说话人归属、来源引用和语义标签的短陈述,使含义更明确并支持按问题筛选证据。在客服通话的优惠抑制任务中,归一化提升了监督分类器表现,较弱的提示式阅读器则同时受益于归一化与筛选。该方法可由小模型学习归一化契约,轻量编码器负责打标与下游决策,从而以全小模型推理管线大幅降低百万级对话分析成本。

  17. arXiv cs.AI44

    超越猫头鹰:潜意识学习可迁移能力与后门

    研究发现潜意识学习(SL)能迁移更广泛的特质:学生模型在无关文本蒸馏后学会预测随机初始化 MLP 的输出,并部分习得后门——含女性名字的提示有 23.5% 用法语回答,男性名字为 0.0%。在智能体国际象棋环境中,经黑客教师蒸馏的学生模型在 58.3% 的对局中实施攻击,未微调模型仅 10.9%。迁移强度受设置影响,logit 蒸馏或将 LoRA 限制在注意力层可增强效果。

最多提供 50 页,更早的内容请使用搜索或主题页。