VLCQ:用可变长度编码实现深度神经网络训练后量化
VLCQ 是一种放宽定点编码约束的训练后量化方法,通过可变长度编码在降低位宽的同时无需训练数据或模型微调。在图像分类、分割和检测任务上,其逐通道量化在多数模型上超越 FP32 精度和 PWLQ,相比 FP32 最高实现 6x 压缩、相比 PWLQ 最高 1.7x;以压缩优先时相比 FP32 最高达 12.25x 压缩,性能损失低于 4%。
VLCQ 是一种放宽定点编码约束的训练后量化方法,通过可变长度编码在降低位宽的同时无需训练数据或模型微调。在图像分类、分割和检测任务上,其逐通道量化在多数模型上超越 FP32 精度和 PWLQ,相比 FP32 最高实现 6x 压缩、相比 PWLQ 最高 1.7x;以压缩优先时相比 FP32 最高达 12.25x 压缩,性能损失低于 4%。
研究者提出神经符号论证推理系统 NARS,直接从在线讨论中检测说服力:神经部分用检索增强的迭代 LLM 推理抽取双极论证结构,符号部分用渐进论证语义在结构上传播论证影响。
GAMW 是一种集成到 TTS 生成过程中的水印注入框架,在波形合成前将内容自适应的多比特水印残差嵌入生成表示,解码目标结合 focal modulation 与动态逐比特加权。在两个 TTS 主干上分别训练评估,16-bit 载荷下,面对单一与复合扰动,其解码准确率较最强基线分别提升 9.2 和 23.5 个百分点,同时保持有竞争力的语音质量,更高载荷下仍能可靠解码干净语音。代码已开源。
研究在统一实验设置下对比了 PSPNet、DeepLabv3、UNet 和 UNet++ 四种模型在牙科 X 光片语义分割上的表现,使用 1269 张影像并测试了不同图像尺寸与 batch size 的影响。UNet++ 取得最高 IoU 0.6719 和 DICE 0.7869,在 300x300 图像尺寸、batch size 16 时分割效果最优。
研究者提出 oracle 引导微调方法,将 ASR 的 N-best 候选列表构建为三类监督数据——纠错池(正确答案在列表中但非 top-1)教模型选择、正则化池(top-1 已正确)抑制多余改写、困难负样本池(答案不在列表中)抑制幻觉,从而学习"选择或重写"的混合策略。
InCLAD 是一个将工业视觉异常检测重构为任务增量式持续学习的基准,每个工业部件定义为一个任务,学习目标保持半监督。该基准设置了随机、由易到难、由难到易等多种场景,并包含跨多个数据集的挑战性场景,同时从图像级异常检测和像素级异常定位两个角度评估持续性能。
基于 Qwen3.5 的 90 亿参数决策模型 Clef-Flash 经 4-bit QLoRA 微调后,在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 诊断准确率和 0.9551 的 macro F1,超过 ClinicalBERT 的 90.90% 及零样本基线 61.67% 和 65.00%。
UltraBERT 是首个在分类与检索任务上同时达到 SOTA 的编码器,GLUE 得分 91.0、BEIR 得分 47.7。它通过在同一批次内为低、高掩码率分配独立 LM 头,并将蒸馏目标限制在低掩码率,解决了此前单一编码器无法兼顾两类任务的难题。研究还发现编码器在下游任务上超过数万亿 token 后即饱和,且低掩码率利于分类、高掩码率利于检索。
Tab-Loop 将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环 k 次,其余编码器、解码器、合成先验与训练配方均不变。
针对平均奖励强化学习中 Bellman 算子仅在马尔可夫链混合时才具备 span 收缩性的难题,该研究提出在给定与奖励无关的 m-step 混合策略下,通过向该混合策略正则化来控制所学策略的收缩与探索性质。
一项预注册实验将 148 个三人团队随机分配到五种语言模型使用时间表,发现把同样的 15 分钟使用时间从搜索阶段移到筛选阶段,会让专家评定的创意质量下降 0.62 个标准差。
循环算法推理器在小图上按步训练提示、在大图上运行更多步时,即使复现了全部训练提示,仍会在深图上提前宣告节点可达,研究者将这一现象称为"premature flood"。
研究对比人类分析师与 LLM 智能体的软件逆向工程能力,GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项静态分析任务上达到与人类统计上相当的理解水平,较弱模型则差距明显。
针对离线示范者信息不可见导致对比强化学习(CRL)学到虚假动作—结果关联的问题,研究者提出因果对比强化学习(CauCRL),用混杂马尔可夫决策过程形式化该设定,并引入反事实转移区分数据可识别与不可识别的部分。CauCRL 从正负离线示范中学习悲观的反事实转移,并在反事实 rollout 上训练 critic,在混杂目标达成任务上成功率显著优于标准 CRL。
针对多源双层数据选择问题,该论文提出一种新的概率松弛方法,引入多个可学习类别先验,将概率分布参数化在仅由可行数据子集构成的支撑集上,从而自然得到无损舍入方案。该方法具备有效的两点梯度估计器,可同时避免 0-1 松弛所需的逆 Hessian 计算和先前概率松弛中无界得分项,并给出可约简表示以减少梯度计算所需的下层重训练次数。
研究团队提出课程引导的强化学习框架,用于空间文本到图像生成。其 SpatialCritic 智能体奖励模型在 SpaRW-Eval 上达到 95.1% 验证准确率,以 40 倍小的 8B 骨干超越 320B 的 GLM-5.3-Flash,并将 SD3.5-Medium 平均基线分从 78.4 提升至 83.9、BAGEL 从 83.2 提升至 86.5。
研究者构建了覆盖英语和九种印度语言的跨语言 TTS 评测基准,并提出一种语言感知的推理时时长估计策略,无需重训练或改动架构即可将语言特定的每字符时长统计引入无对齐 TTS。在双语和多语 A-DMA 模型上的实验显示,语音自然度、可懂度和说话人相似度均有提升,同时时长失配减少。数据集与代码配方已公开。
一篇 arXiv 论文提出"AI 原生产品管理"愿景,主张 AI 成为产品工作中的持续参与者,覆盖感知、探索、决策、实现与学习五个环节。该愿景以人类专业人士、AI personas、agents、skills 和共享产品上下文构成的运营模型落地,并提出六项原则,认为 AI 原生产品管理与 AI 原生研发可形成持续的产品学习过程。论文还列出四个需要实证研究的 AI 专属方向。
该论文提出基于 AWS IoT Core 与 AWS IoT Greengrass v2 的云边混合架构,在边缘本地执行机器学习推理并选择性同步云端。
研究者提出深度渐进框架,通过"深度即通道"的表述,用 2D 生成扩散模型完成 3D 速度模型构建(VMB):将每个 3D 速度体的深度维映射到 2D U-Net 的通道维,由浅至深依次合成重叠深度块,并以浅层预测和井日志等地球物理约束作为条件。
研究者提出 YOUDrive,一种视觉-语言-动作规划器,通过将每位教师的行为蒸馏为任务向量,在推理时缩放和组合这些风格方向,无需重训练主干即可连续控制驾驶风格。
研究团队提出 Audio8-TTS,一个 0.6B 参数的紧凑零样本语音克隆模型,在可懂度和说话人相似度上达到 SOTA,感知自然度尤为突出。
研究者提出 Prior-Fitted Scorer(PFS),用 Transformer 充当多模态对比学习的评分器,并先在由结构因果模型(SCM)先验生成的合成多模态数据上预训练,再迁移到真实数据。在四个真实数据集上,冻结的随机初始化 Transformer 评分器即可媲美强手工对比基线,而先验拟合进一步优于随机初始化;将评分器与编码器联合优化反而效果更差。
研究者提出 Last Secure Code Benchmark,用 150 个真实漏洞构建 450 个任务,覆盖 Java、C、C++、JavaScript。
针对长时程交互任务中稀疏终端奖励难以提供中间动作信用信号的问题,研究者提出 PTGPO(Prefix Tree Group Policy Optimization),一种无需 critic 的方法,在锚点状态组内对轨迹后缀构建前缀树,以子节点与父节点经验平均回报之差作为每条树边的信用。
SYNTRA 是一种检索数据合成方法,通过自改进循环利用试验输出反馈迭代优化可复用的合成指令,仅需无标注语料和少量相关查询-文档对。在覆盖 15 个领域的 24 个检索数据集上,合成数据提升了多个强嵌入模型的表现;自改进在全部 6 项评测任务上改善检索,其中 4 项超过人工校准,MS MARCO 上训练数据扩至初始规模 32 倍时性能持续提升。
该论文提出一种模糊控制方法,将基于对抗逆强化学习(AIRL)的奖励估计机制集成到策略梯度与模糊推理结合的基础模型中。方法将基础模型的策略作为生成器,并把策略中的隶属函数集合用作判别器的代价函数,使奖励估计的判别器更新与策略估计的生成器更新在共享参数上同步进行,无需估计价值函数。在车辆速度控制任务的仿真中,该方法通过稳定高效的学习获得了泛化性能较高的策略。
研究团队提出 Vela 框架,将真实用户行为数据转化为可训练任务与轨迹,从 10 万名用户的匿名行为记录中生成 10 万个任务、覆盖 91 个真实任务模板,经难度过滤后保留约 7.5 万个任务。基于这些轨迹微调 Qwen3.6-35B-A3B,用户相关任务最高提升 11.5 分,通用基准平均提升 4 分;微调后再做强化学习,比从基座模型直接强化学习最高高出 7.7 分。
研究团队开发了 Lingdan-V2 中医语言模型系列,包含 4B、8B、14B 三种参数规模,采用分阶段临床对齐框架,融合中医与临床记录的大规模持续预训练、推理监督和以处方为中心的强化学习。
研究揭示了一种新型威胁:单侧合并条件后门(OMCB),它在单个模型中休眠且无法被检测,但在模型合并后激活并触发安全失对齐。作者提出基于元学习的攻击框架 SMOKE,通过双层优化注入该后门,在多种模型架构和合并技术上验证了有效性,并能抵抗现有后门检测。
AlignAudio 是一个基于双重对齐的噪声鲁棒语音条件生成框架,通过对齐干净与含噪语音的表示保留语义线索,并在 flow matching 范式内强化生成级一致性。在语音到音频(STA)和语音转换(VC)任务上,它在干净语音下性能与基线相当,在多种噪声条件下显著优于基线。该双对齐策略适用于单流与多流语音条件,并可集成到不同的 flow matching 生成框架与后训练设置中。
DEXCAST 是一个无需遥操作的框架,可直接从单目 RGB-D 视频中学习灵巧机械手控制,利用联合手物交互重建实现。该框架提出 DexHand Motion Perception Module(DMPM),以紧凑隐表征捕捉关节间协调与时序依赖,为扩散策略提供条件。真实世界实验表明,DEXCAST 在多种灵巧操作任务上表现优异。
Prospective Forcing 是一种多头预测框架,通过在自回归视频生成器的共享历史表示上附加轻量级、偏移特定的预测头,让模型在训练时同时预测不同未来时间偏移的视频块,从而提升长视频生成的时间一致性。推理阶段,该方法利用被接受的未来块预测跳过完整窗口的主干执行以加速采样,并通过可学习嵌入生成下一块的多个候选,由学习到的验证器选择或回退到标准自回归生成。
研究团队发布 EarthAlign 数据集与 MeteoLIP 双编码器框架,用于学习气象与语言的对齐表示。EarthAlign 覆盖 2000-2024 年,整合 10 个专家整理的自然事件与灾害数据源及气候学常态天气样本,每个样本含时空信息和四种对齐 63 变量 ERA5 气象数据的描述风格。
研究通过"顺序采样器"(仅依据前序符号和少量状态采样下一个符号的电路)刻画自回归 token 生成的能力边界。结果表明,带 k 比特状态的顺序采样器可用无状态采样器以约 O(2^k) 规模开销模拟,且高效插入式采样(Stern 等,ICML 2019)强于任意固定顺序的高效顺序采样。小状态顺序采样器无法建立某些形式的隐蔽密码信道,这为防范恶意 LLM 智能体间的潜意识协同提供了潜在安全机制。
LASER 是一种面向稀疏、可废止协议证据的证明携带搜索方法,将缺失依据与未决修正表示为显式义务,由符号检查器判定证书是支持、反驳还是无法裁决某行为。在 91 个 BehaviorCheck 家族、2K 预算下,LASER 在两个模型族上将 Joint Edge+Proof 分别提升 .132(p=.017)和 .198(p<.001),并将误发现减少 2–3 倍。
研究提出一种面向动态商品广告(DPA)检索系统的离线评估指标,通过 Semantic-ID 分组、事件分层切分将用户互动历史压缩为意图代表,再用 LLM 作为语义相关性评判者,对推荐商品逐意图打分并聚合为用户级相关性分数。
Active Neural Matter(ANM)提出一种有限窗口响应框架,用于判断状态需保留哪些历史交互信息才能解释未来响应。前向分析预测状态与输出对扰动的响应,逆向分析检验候选状态信息是否充分,其分布分离度给出最坏情况误差下界。延迟共识仿真验证了响应幅度与相位的解析预测,AI 实验则识别出复现响应分布所需保留的交互历史与证据顺序差异。
研究者提出自学习运维智能体 SDO,通过将已解决故障的经验蒸馏为可复用的 playbook 和检测器脚本,让 LLM 智能体随处理事件增多而持续改进,而非每次从零排查。SDO 持续运行检测器,仅在其触发时调用 LLM,因此 token 成本随事件数量而非运维时长增长。在 11 个开源微服务应用上,SDO 将复发性故障的解决时间缩短 52%,并保持较低的单次事件成本,代码已开源。
GG-Nav 通过监督微调学习结构化思维链,让导航基础模型显式定位目标并累积接地证据,在 HM3D ObjectNav、VL-LN 和 CoIN 基准上成功率分别超越 SOTA 3.1%、16.6% 和 5.3%。其两阶段设计从中间帧累积证据使证据缺失失败减少 11.6%,显式接地使停止错误降低 49.4%,并已在 Unitree Go2 机器人上实现真实环境零样本泛化。
共 2000 篇论文