跳到正文
10月15日周四
  1. arXiv cs.AI22

    FedGraph:基于图聚合防御联邦大语言模型微调中的后门攻击

    FedGraph 通过图聚合框架防御联邦 LLM 微调中的后门攻击,将客户端建模为动态图中的节点并提取结构特征,从而区分恶意与良性更新。实验显示其将攻击成功率降至 10% 以下,平均检测准确率达 95.5%,误报率仅 2.33%。该工作已被 ICLR 2026 Workshop on Principled Design for Trustworthy AI 接收。

  2. arXiv cs.AI24

    并非所有漂移都是机制:追踪 LLM 中的提示词适配

    研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响,发现适配所处位置决定了任务信息如何传递到输出:优化文本主要改变回复构建,输入级提示词将影响写入内容表征,逐层 prefix 则通过注意力维持直接控制,在 MoE 模型中还引发不同的专家路由模式。常见的表征级度量对通用上下文变化反应强烈,无法可靠区分有用适配与匹配的安慰剂。

  3. arXiv cs.AI30

    哪个优化器泄露最多?优化器隐式偏差作为训练数据隐私控制器

    研究比较了 SGD、Adam、Muon 三种优化器在训练数据重建攻击下的隐私泄露差异,核心区分在于隐式偏差的权重特异性。SGD 和 Muon 的平稳性条件保留了足够权重信息,实践中可重建训练样本;Adam 在 ℓ∞ 隐式偏差区间仅编码最大坐标及其符号的离散模式,对评估的攻击表现出持续更强的抵抗。

  4. arXiv cs.AI12

    曲率启发的标量特征缩放用于域泛化的受控评估:HyperDG 在 PACS、VLCS、Office Home、TerraIncognita 上未优于 ERM

    一项受控评估检验了被称为 HyperDG 的窄实现——训练时用可学习正标量重缩放欧氏编码器特征、推理时对未缩放特征使用普通线性分类器,在 PACS、VLCS、Office Home、TerraIncognita 四个数据集共 384 次运行中,其等数据集宏平均点估计比原生 DomainBed ERM 低 1.61 个百分点(95% 聚类 CI [-3.17, -0.04])。

  5. arXiv cs.AI36

    LoOPSD:用循环教师做同策略自蒸馏

    LoOPSD 通过搜索模型自身的层执行顺序(重复某些层)构建更强的教师,并将教师的预测优势蒸馏回学生,且每轮用更新后的学生重建教师。在 GSM8K、400 token 思考预算下,该方法将 Qwen3-1.7B 准确率从 42.30% 提升至 79.61%,后续蒸馏轮次还能带来进一步增益。

  6. arXiv cs.AI27

    Fan Out 还是 Relay?面向 LLM 智能体查询孤岛数据表的归属感知路由

    针对 LLM 协调器查询多归属方数据表时 fan-out 与 relay 两种策略的取舍,研究在 PeopleJoin 和 BIRD 的 13 个设置、3 个模型族上发现,数据归属而非查询形态决定哪种策略更优:fan-out 在单归属方可答问题上 12 个设置更准,但在涉及两个归属方表连接时最多只答对 4.3%。

  7. arXiv cs.AI22

    当缺失性沿图传播:PEMix 超越特征传播的缺失特征处理方法

    针对图神经网络中缺失特征沿图边传播的现实场景,研究者形式化了"图结构掩码依赖"这一概念,并发现基于传播的现有方法在该设定下效果与均匀随机缺失时差异显著。为此提出 PEMix,不再传播观测值,而是用全局结构表示对不完整节点特征的概率模型进行条件化,再执行消息传递。在受控图结构缺失与自然缺失实验中,PEMix 在复杂缺失机制下保持稳健,缺失越严重表现越突出。

  8. arXiv cs.AI27

    APT:面向文本生成图像的自反馈智能体后训练框架

    APT 是一个全自动后训练框架,通过协调三个智能体构建评测集、诊断模型能力短板,并按自适应提示词分布生成强化学习数据,让模型当前表现决定下一轮训练任务,形成递归自我改进式反馈闭环。针对无用户指定评测场景的通用设置,该研究还开发了可生成广泛多样评测集的评测工具。实验表明 APT 在多个基座模型、benchmark 和生成架构上均适用,具备模型无关、benchmark 无关、架构无关且全自动的特性。

  9. arXiv cs.AI24

    inLoRA-MINT:用内部表征审计领域适配 LLM 的训练数据

    研究提出 inLoRA-MINT,基于中间层激活与参数相关信号训练 MINT 分类器,在无需完整访问模型参数的情况下判断样本是否被用于 LoRA 微调。在 Qwen、Phi-4、DeepSeek-V3 和 LLaMA 3.2-3B 四款模型、覆盖医学、数学与学术推理三个数据集上,得分稳定在 95% 至 98%。该方法可用于敏感训练数据审计与数据溯源,并支持隐私与 AI 治理合规。

  10. arXiv cs.AI20

    湍流流体动力学驱动的高保真三维流场重建

    研究者提出一种湍流感知框架,用于从粗粒化数据重建时间分辨的三维流场,该框架将多尺度神经算子与状态空间模型耦合,并以 Navier-Stokes 残差作为软约束,还引入混合专家机制以无监督适应未知粗粒化方式。在典型湍流系统和大气再分析数据上,该框架相比基于学习和经典基线降低了重建误差,同时更好地保留了多尺度空间结构与相干时间演化。

  11. arXiv cs.AI20

    机器学习势函数能否比其训练方法更准确?

    一篇 Perspective 提出,机器学习势(MLP)可通过在量子化学方法这一"第三空间"上泛化,实现非经验性地超越其训练方法的精度。作者提出"方法可迁移 MLP"路线,在密度泛函与波函数理论中均有可行实现,证明其可比任一训练方法更准确。该方法有望让通用 MLP 比单方法模型更准确,并将影响训练数据集构建与模型评估。

  12. arXiv cs.AI32

    当训练集中于学生失败题目时,On-Policy Distillation 为何反而强化错误

    研究用 Qwen-3 和 Phi-4 在统一竞赛数学协议下评测五种 On-Policy Distillation(OPD)机制,发现当训练仅集中于学生当前做错的题目时,OPD 无法提升准确率,八个配置全部下降,双尾符号检验 p=0.0078。相同流程在不集中于失败题目时准确率提升 4.6 个百分点,说明该失效取决于训练机制而非系统性缺陷。

  13. arXiv cs.AI22

    PACS:面向扩散语言模型的可预测性感知 SFT 方法

    针对扩散语言模型(DLM)中随机掩码导致的训练-推理不匹配问题,研究者提出可预测性感知画布选择与监督方法 PACS,用模型自身的可预测性来选择每个样本的注意力可见输入长度,并在参考 token 被置信度引导揭示前对其进行监督。在推理与代码生成基准上,PACS 在对比的 SFT 方法中平均准确率最高,单项基准上较原始 SFT 提升最多 12.84 个百分点。代码将在论文发表后发布。

  14. arXiv cs.AI18

    面向零售购物篮选择建模的负采样改进:更好捕捉商品间交互

    研究提出一种购物篮模型,通过学习嵌入向量来表征商品、价格与门店之间的交互关系,并采用基于实际在售商品组合的随机负采样来计算优化损失,以突破商品数量庞大带来的计算瓶颈。在合成数据上,该负采样策略效果优于已有文献方法;模型还在 Fortenova Group 数百万条真实交易数据上完成训练与评估,可用于支持品类管理人员的零售决策。

  15. arXiv cs.AI30

    RT-J:面向上下文高效预测的关系型 Transformer 大规模预训练

    研究团队推出 85M 参数的关系型基础模型 RT-J,仅需数百个甚至更少的上下文示例即可做出准确预测。该模型基于 639 个网页抓取数据库、6,023 个 LLM 生成预测任务构建的 Join 数据集预训练,支持最长 8,192 个数据库单元格的上下文,并采用随机游走检索器、上下文调优与集成扩展测试时计算。

  16. arXiv cs.AI20

    TStruct:为长期时间序列预测学习共享时间结构

    针对长期时间序列预测中噪声与非平稳性导致模型易拟合偶然时序交互的问题,研究者提出 Temporal Structure Network(TStruct),通过直接参数化一组共享时间依赖矩阵,并利用动态样本信息与静态变量先验生成归一化组合权重,实现共享结构约束下的自适应时间依赖建模。该结构感知设计在所有数据集上均优于多个强基线,同时保持较高计算效率,论文已被 NeurIPS 2026 主赛道接收。

  17. arXiv cs.AI12

    量子振幅嵌入中的数据重上传教程:每次上传如何将可达多项式阶数提高两阶

    这篇教程解释了数据重上传为振幅嵌入量子模型带来的增益:每次上传可将可达多项式阶数提高两阶。在单一可训练电路族和相同可训练参数预算下,重上传将四阶目标的测试决定系数从 0.689 提升至 0.883–0.975,六阶目标从 0.337 提升至 0.642–0.783,十组随机种子均成立。但在二次目标和手写数字任务上,一次上传仍是最佳选择,且每次额外上传都会降低分类器可容忍的门误差。

  18. arXiv cs.AI32

    RLVR 验证器噪声与鲁棒性综述:58 项研究揭示错误结构比错误率更关键

    一篇综述梳理了 58 项测量、分析或缓解 RLVR 验证器错误的研究,发现错误的结构比错误率更重要:随机错误主要拖慢学习,而在固定预算或 KL 正则下也会降低最终准确率;策略能学会触发的假阳性则可能导致训练停滞甚至崩溃,即便初始错误率很低。验证器是错误拒绝还是错误接受,取决于它检查什么、由谁构建,而非其所属家族,且其错误会随策略改进而漂移,多数缓解方法仅针对单一错误类型测试过。

  19. arXiv cs.AI27

    FracLearn:让语言模型通过物理经验学习设计

    FracLearn 框架让语言模型在受 Tetris 启发的断裂游戏中通过模拟断裂响应积累经验,抽象出钢筋布置、裂纹演化与载荷传递的条件性原理,再在新架构中组合这些原理以超越此前设计记录,最佳综合得分比经验阶段记录高 11.0%。断裂分析显示性能提升源于裂纹偏转与暂时捕获等增韧机制及更高的残余承载能力。学习通过外部知识与决策完成,无需更新模型权重。

  20. arXiv cs.AI27

    RPO:通过根 token 策略优化让大推理模型自适应思考

    研究提出 RPO(Root-token Policy Optimization),通过组相对奖励和组内优势仅训练初始根 token(如是否调用思考标签),让大推理模型自行决定何时推理。该方法在多个模型族和规模上实现难度感知的自适应思考,训练算力仅为先前自适应推理方法的约 2%,并大幅降低显存占用。该工作已被 ACL 2026 接收为 Oral。

  21. arXiv cs.AI22

    HiSTOR:面向高维纵向数据的结构化治疗-结局表征学习框架

    研究者提出 HiSTOR,一个将非线性降维与纵向反事实预测整合的端到端框架,通过按治疗分配与结局的共享及差异关系,学习当前患者状态与演化历史的结构化低维表征。在 CVSim 和 CancerSim 上,HiSTOR 在不同协变量维度、混杂强度和预测时间跨度下均优于现有方法,并支持指定治疗序列下的单步与多步结局预测。

  22. arXiv cs.AI24

    用 Fenchel-Bregman 后验学习提升多样本推理:FBI 方法

    研究者提出有限 K 后验学习,训练求解器参数分布以降低 K 个独立候选全部失败的概率,并给出 Fenchel-Bregman(FB)方法,每次更新只需一次后验采样,而非直接蒙特卡洛所需的 K 次。FB 结合高斯后验变分优化器 IVON 得到 FBI,在多种递归与自回归推理任务上提升候选覆盖率,并以直接蒙特卡洛基线 12.3% 的实测单次更新训练时间达到相当的 Pass@10。

  23. arXiv cs.AI27

    LEAF:用上下文记忆与自蒸馏提升 LLM 推理的探索效率

    LEAF 通过在每次 rollout 前向上下文注入动态的问题专属记忆(含最近一次回答、奖励及环境反馈),并在每次验证后更新,从而将策略更新与 rollout 解耦、以自蒸馏方式更新策略。在四个 benchmark 和两个开源模型上,其探索速度约为随机采样基线的 4 倍,在未见测试集上准确率较最强基线分别提升 1.59 和 1.83 个百分点,且算力消耗低于所有 RL 基线。

  24. arXiv cs.AI24

    CoCA:面向评分标准强化学习的标准感知信用分配

    针对评分标准强化学习将标准级反馈压缩为标量奖励、token 优势分配均一的问题,研究者提出 CoCA,把评分标准信息作为信用分配的相关性线索,从组内相对结果推导标准级信用,并依据标准引起的分布偏移将其分配到各 token。在医学与科学基准上,CoCA 相比标准评分标准强化学习平均提升 +4.2%。