跳到正文
10月15日周四
  1. arXiv cs.AI38

    SYNTRA:自改进数据合成实现嵌入模型的可扩展适配

    SYNTRA 是一种检索数据合成方法,通过自改进循环利用试验输出反馈迭代优化可复用的合成指令,仅需无标注语料和少量相关查询-文档对。在覆盖 15 个领域的 24 个检索数据集上,合成数据提升了多个强嵌入模型的表现;自改进在全部 6 项评测任务上改善检索,其中 4 项超过人工校准,MS MARCO 上训练数据扩至初始规模 32 倍时性能持续提升。

  2. arXiv cs.AI41

    Vela:以用户行为为监督信号激发 LLM 智能

    研究团队提出 Vela 框架,将真实用户行为数据转化为可训练任务与轨迹,从 10 万名用户的匿名行为记录中生成 10 万个任务、覆盖 91 个真实任务模板,经难度过滤后保留约 7.5 万个任务。基于这些轨迹微调 Qwen3.6-35B-A3B,用户相关任务最高提升 11.5 分,通用基准平均提升 4 分;微调后再做强化学习,比从基座模型直接强化学习最高高出 7.7 分。

  3. arXiv cs.AI20

    Active Neural Matter:面向物理系统与分布式 AI 工作流的有限窗口响应框架

    Active Neural Matter(ANM)提出一种有限窗口响应框架,用于判断状态需保留哪些历史交互信息才能解释未来响应。前向分析预测状态与输出对扰动的响应,逆向分析检验候选状态信息是否充分,其分布分离度给出最坏情况误差下界。延迟共识仿真验证了响应幅度与相位的解析预测,AI 实验则识别出复现响应分布所需保留的交互历史与证据顺序差异。

  4. arXiv cs.AI24

    重新思考激活函数:降低激活偏置可改善学习

    研究指出 ReLU、GELU、Swish、Sigmoid 等常用激活函数输出以正值为主,产生非零的激活后均值,即"激活偏置"。在受控模型中,激活偏置会加速初期损失下降,但伴随过冲、不平滑轨迹和更陡的损失景观;降低激活偏置虽减慢初期学习,最终损失却更低。在更大的视觉和语言模型上,较小的激活偏置同样与更好的后期性能相关。

  5. arXiv cs.AI22

    大语言模型表征对齐的规模、驱动因素与局限

    研究提出 Neighborhood-Weighted RSA 与 Counterfactual RSA 两种方法,用于定位大语言模型在何处表征一致、以及何种语言属性支撑这种一致。结果显示,模型在粗粒度表征几何上高度一致,但在局部邻域存在显著分歧;逻辑辖域扰动对对齐的削弱远大于层级句法、事件角色或语篇结构的扰动。

  6. arXiv cs.AI20

    RES-MR:面向可解释安全用药推荐的风险感知推理框架

    研究团队提出 RES-MR,一个基于 LLM 的风险感知推理框架,用于可解释且安全的用药推荐。该框架采用两阶段训练:先通过可解释临床推理蒸馏,基于图检索的患者知识微调合成推理轨迹;再进行风险感知策略优化,用解耦药物因子构建患者特异性参考原型,经奖励塑形与裁剪实现风险边界校准。基准数据集实验显示,RES-MR 在准确性、安全性和可解释性上显著优于 SOTA 基线,代码与数据已开源。

  7. arXiv cs.AI27

    CoRE:面向结构化知识检索的协同自适应规则路由与约束

    针对结构化知识检索中预定义查询-规则监督难以获取的问题,研究者提出 CoRE,让路由智能体为每个查询选择推理规则,对应检索器再在该规则约束下遍历知识库并排序证据。CoRE 交替使用强化学习训练路由策略、对比学习训练规则约束检索器,形成无需显式查询-规则标注的闭环协同。在 STaRK-QA 的科学发现、生物医学推理和电商知识管理数据集上,实验与消融验证了协同自适应的有效性,生成式路由可跨数据集迁移。

  8. arXiv cs.AI20

    递归专家计算的粗粒化:延续相对接口与失效模式

    研究提出延续相对评估框架,用下游任务质量与总执行成本联合判断能否用廉价模块替换一段计算,并区分边界表示、被跳过计算的摘要、实际执行操作与下游损失。在 17 亿参数模型上,用 next-token-loss 训练比重建被跳过模块输出使分布内负对数似然降低 0.1901 nats/token,但该排序在全部九组分布偏移配对比较中反转。

  9. arXiv cs.AI23

    从控制论视角看深度学习

    一篇综述从控制论视角梳理深度学习,涵盖前馈与残差网络、Transformer、大语言模型和选择性状态空间模型。文章指出残差网络可视为连续时间控制系统的离散化,Transformer 可视为共识算法的离散化,因此大语言模型表现出共识特性;反向传播与最优控制的联系也可在离散与连续时间模型间调和。

  10. arXiv cs.AI22

    RNN Homunculus:如何学习门控长期记忆

    研究通过受控序列分类任务发现,门控 RNN 的瓶颈不在加法复制路径,而在门值本身需要另一个 RNN 学习,当所有训练样本都依赖长程记忆时同样受困于梯度消失。加入短依赖样本可让门控模型学到能泛化到长依赖样本的解,训练得当的门控 RNN 测试准确率可匹配甚至超过 Mamba 和 xLSTM。

  11. arXiv cs.AI26

    CAPTOR:面向胸腹盆肿瘤 CT 的视觉-语言基础模型

    研究团队开发并评估了视觉-语言基础模型 CAPTOR,用于肿瘤胸腹盆(CAP)CT 解读,训练与测试分别使用 25,512 和 10,794 对 CT-报告数据。在分类任务上,CAPTOR 在 CAP 子集取得 AUC 0.767,优于次优模型的 0.695(p<0.001),并在四项肿瘤预后基准中三项排名第一,检索性能同样领先。团队已开源预处理、训练与推理代码及模型权重。

  12. arXiv cs.AI15

    肾细胞癌分类中放射组学-图像融合的概率校准评估

    研究基于 KiTS23 数据集的 396 名患者,评估在四类图像模型中引入放射组学后概率预测质量的变化。在 12 组匹配对比中,AUC 和 AP 全部提升,Brier score 与 NLL 在 11 组改善,ECE 在 8 组改善;3D MedVAE 门控融合模型表现最佳。对拼接、交叉注意力和门控融合做概率平均,可在全部四类架构上同时改善区分度与校准。

  13. arXiv cs.AI44

    Loose Lips:Agentic 对话中的隐私泄露研究

    研究者将 CIMemories 扩展为 CIMEMORIES DIALOGUE,一个基于 Contextual Integrity 理论的 4,410 组双智能体对话基准,并据此评估 Qwen3 与 Llama 3.1 家族的 7 个开源权重模型。结果显示任务能力与隐私泄露根本耦合:能力越强的模型泄露越多,思考型模型比非思考型泄露更多,对话从 1 轮增至 6 轮时泄露最高上升 3 倍。

  14. arXiv cs.AI18

    用原始-对偶证书审计 LLM 程序搜索求解 Bermudan 期权停止问题

    研究用 LLM 程序搜索智能体为 Bermudan 期权生成 Python 执行策略,并以对偶上界 U 与 Monte Carlo 估计审计其有效性。对两条流水线共 24 次生成尝试的审计显示,没有选中的生成程序能稳定超越 Ridge LSMC,或超出 Monte Carlo 误差范围,留出集差距分数与其相差在 0.002 以内。

  15. arXiv cs.AI22

    PLDiv:用持久景观度量数据集多样性与语义坍缩

    研究者提出 PLDiv,一种基于持久景观(persistence landscapes)的多样性指标,从数据集的几何表示量化其结构组织,无需任务特定监督即可输出可解释的结构多样性标量。在文本生成与图像嵌入的内在多样性度量、以及指令数据集和推理轨迹的语义坍缩检测中,PLDiv 表现优于所评估的基线,并在语义坍缩时与多样性标签高度一致。该指标可支持合成数据监控、数据集构建、数据增强与生成模型评估。

  16. arXiv cs.AI29

    Pick the Mixture, Not the Samples:面向 LLM 的组合式数据选择

    研究者提出组合式数据选择(CDS)框架,将样本评分与子集选择分离,并建模样本间的非加性交互。基于跨域互补性发现,他们提出 Mixture-then-Select 两阶段算法:先决定各域采样数量,再按归因分数排序。该方法在真实指令微调数据池上超越强基线 20% 至 54%,且在不同模型和数据池规模下均保持稳健。

  17. arXiv cs.AI26

    OPMD:超越输出监督的在线策略机制蒸馏

    研究者提出在线策略机制蒸馏(OPMD),通过先构建与学生兼容的教师模型,将教师中间表示转化为学生下游计算可用的状态,再在在线策略轨迹中内化这些状态,从而在输出监督之外实现机制级监督。在三种教师-学生设定中,OPMD 的平均准确率均高于所评估的蒸馏基线,并可泛化到多教师蒸馏和跨家族监督微调。分析显示,机制监督能带来更有效的推理,并显著改变学生的中间计算与解题策略。

  18. arXiv cs.AI24

    CoEvoke:通过扰动与引导激发多智能体协作轨迹收集

    CoEvoke 是一个跨域框架,通过可控扰动制造可恢复的困难、并用受限参考引导调查,在轨迹收集阶段激发多智能体的检查、反馈与修复交互。该数据集包含 4,130 个软件工程与推理任务上的 4,567 条可重建轨迹;在 2,287 对同任务实验中,七个扰动组的反馈提升达 47.72-100 个百分点。

  19. arXiv cs.AI26

    LabInstruct:面向实验室流程的实景教学视频生成基准

    研究团队推出 LabInstruct,一个面向真实实验室的实景教学视频生成基准,涵盖 5 个学科、204 项任务,配有真实参考执行及物体、动作、接触和状态转换的结构化标注。对 8 个前沿图生视频模型的评测显示,视觉上逼真的生成结果往往在流程上并不正确,暴露出视觉真实感与实验教学可靠性之间的显著差距。

  20. arXiv cs.AI22

    PowerMamba:面向日前光伏功率预测的物理信息状态空间模型

    研究者提出物理信息状态空间框架 PowerMamba,将可微分光伏转换模型与选择性状态空间骨干结合,通过物理残差分解预测日前光伏功率。在一年公用事业规模光伏数据上,该方法较纯物理基线 RMSE 降低 38.5%、MAE 降低 45.8%,并优于纯数据驱动模型。系统级物理约束带来最大性能增益,同时可将预测约束在物理可行范围内,减少损坏测量下的非现实预测。

  21. arXiv cs.AI34

    编码 LLM 可被用于从数据中学习可解释模型

    研究者提出一种简单 harness,反复提示编码 LLM 根据标注样本生成规则集中的下一条规则,从而从数据中学习可解释模型。该方法在表格数据上与 SOTA 规则学习方法相当甚至更优,在小训练集上优势明显,在文本任务上大幅领先,包括击败另一个基于 LLM 的规则学习器。由于编码智能体不受高度受限假设空间约束,该思路还直接催生了新型可解释模型,并引入“构建可解释分类器”这一新编码基准类别。

  22. arXiv cs.AI22

    PreSO:面向在线策略自蒸馏的特权表示隔离方法

    PreSO 通过紧凑提示限制特权信息中的题目细节,并从跨问题表示偏移中估计低秩子空间,将特权修正投影后叠加到学生表示上作为蒸馏目标。在五个竞赛级数学基准上,PreSO 在 Qwen3-1.7B、4B、8B 上平均准确率较基座模型分别提升 6.8、9.0、10.0 分,且各规模最终 checkpoint 平均成绩均为最高。

  23. arXiv cs.AI29

    SPLICE:用演示者失败修复推理轨迹,提升数学与奥赛证明能力

    SPLICE 将验证与修复移出训练循环,改为离线数据生成:第二个模型仅凭参考解,在推理模型生成轨迹时验证进度、在最后已验证步骤截断失败轨迹,并拼接自适应增强的提示直到恢复进展。用 SPLICE 轨迹微调的模型在 AIME 上超过用未编辑轨迹蒸馏的同一模型,并在经人工评分验证的评分协议下于奥赛证明上同样更优。该模型轨迹在难点处会以拼接提示的风格宣告分支并采取更高风险步骤,预测熵随之上升。

  24. arXiv cs.AI29

    Posterior Flow Matching:一种可输出端点不确定性的生成建模框架

    研究者提出 Posterior Flow Matching(PFM),用高斯后验模型同时学习条件速度均值与逐分量方差,使单次模型评估即可给出传输预测和端点不确定性。该方法支持均值驱动的 ODE 与后验驱动的 SDE,后者局部噪声尺度随预测不确定性自适应调整。在图像、点云、分子和动作生成任务上,PFM 提升了生成质量,并可在整个生成过程中读取端点后验信息。

  25. arXiv cs.AI22

    MRFlow:机制结构化残差流匹配用于虚拟细胞扰动预测

    MRFlow 将虚拟细胞预测建模为单细胞经验分布间的条件传输,通过流匹配向量场把对照细胞群输运至扰动细胞群,场分解为机制结构化仿射字典与谱控残差场。基因扰动经调控图 GCN 编码,化学扰动经 Morgan 指纹编码,二者共用同一条件动力学接口。在八个基因与药物扰动基准上,MRFlow 取得最高综合得分,同时在差异表达与分布指标上保持有竞争力的原始表现。

  26. arXiv cs.AI22

    SATKGC:面向知识图谱补全的子图感知语言模型训练框架

    研究者提出子图感知训练框架 SATKGC,通过子图感知 mini-batching 鼓励难负样本采样并缓解实体出现频率不平衡,同时引入新的对比学习机制,让模型更关注结构属性上更难的批内负三元组和正三元组。该工作称首次将知识图谱的结构归纳偏置全面融入 PLM 微调,在三个 KGC 基准上验证了优越性,代码已开源。

  27. arXiv cs.AI36

    AesCode:用解耦跨模态奖励实现美学代码生成

    AesCode 通过将同一提示词生成的图像作为美学引导,让代码模型生成幻灯片、海报、仪表盘等视觉产物的代码。该方法用设计图表示整个画布,并从中导出解耦的跨模态奖励:确定性验证器评估可从代码和渲染中解析的属性,VLM 评判器则用样本专属的 Visual Graph Rubric 评估不可解析属性,再通过强化学习与逐通道归一化联合优化。