多模态情感识别系统:融合面部表情、肢体动作、语音与口语文本
一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率,显著高于任一单模态组件(p < 10⁻⁴),且各情绪状态识别率均不低于92.31%。相比之下,单模态模型在真实条件下准确率降至82.97%–87.64%,部分情绪状态识别率低至48.08%,表明基准测试的高性能难以迁移到实际使用场景。
一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率,显著高于任一单模态组件(p < 10⁻⁴),且各情绪状态识别率均不低于92.31%。相比之下,单模态模型在真实条件下准确率降至82.97%–87.64%,部分情绪状态识别率低至48.08%,表明基准测试的高性能难以迁移到实际使用场景。
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,研究者提出以事件为中心的一致性评估框架,在事件层面解耦音视频并跨模态交叉验证,聚合成粗到细的三级一致性指标。
研究者提出子空间微调(SST),将每次权重更新限制在底部奇异子空间,消除主方向上的变化,从而缓解 LLM 持续学习中的灾难性遗忘。SST 与优化器无关,可兼容 SFT 和自蒸馏,保护多达 99% 的权重子空间仍能保持目标任务的强劲表现,且该效果随模型与数据规模增大而增强,在大模型场景下几乎消除遗忘。相比基线方法,SST 的 KL 漂移减少 2–4 倍,推进了学习—遗忘的帕累托前沿。
针对人类示教只能覆盖部分任务特征、导致奖励欠指定的问题,研究者提出把纠错负担从人转移到机器人:利用示教数据中暴露的监督薄弱特征构建先验,将偏好查询定向到这些特征,并为每次查询附上解释以聚焦人类注意力。仿真中该先验在低查询量场景下比标准主动偏好学习基线最高提升 30.8%,用户研究显示先验与解释各自显著改善奖励恢复且相互放大。该工作已被 CoRL 2026 接收。
OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。
研究者提出 SCOPED(技能解耦同策略专家蒸馏),通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中仅用技能监督专家、不向统一学生模型暴露技能,使其在推理时内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示技能增强可提升专家轨迹一致性、对任务相关视觉证据的关注度,并更好保留统一学生模型的专项能力。代码与数据已公开。
TRACE 是一种拓扑感知、预测自适应的分割目标函数,利用目标骨架定义所需局部连接,并为每个连接在当前预测下寻找最易实现的有效重连,将其瓶颈与对应骨架点联合监督。该方法还引入拓扑感知骨架载体,同时保留前景与类别特定拓扑。在六个 2D 和 3D 基准上,TRACE 在保持较强分割精度的同时改善了连通性与拓扑,训练开销较低。
研究提出全身灵巧操作框架 WBD,将机器人躯干与四肢作为接触面来抓取和操作物体,通过 sim-to-real 流程生成全身抓取数据集、训练强化学习专家并蒸馏为单一策略。
研究者提出一种基于 LUPI 范式的运动与重力感知框架,训练时以残差光流和重力方向作为特权信号引导几何表征学习,推理时仅用标准视觉输入,保持前馈效率。在标准基准上,该方法在含动态物体、结构模糊和复杂相机运动的场景中提升了重建精度与鲁棒性。分析显示最优注入阶段因骨干而异:VGGT 适合中层注入,π3 更适合后期注入。
研究者提出一种直接从语音中检测语码转换(CS)的轻量方法,利用预训练语音编码器帧级的语言选择性隐藏状态维度,聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
研究构建了一个清洁机器人网格世界,机器人可选择真正清除污垢或将其从廉价传感器前隐藏,仅用传感器代理奖励训练的深度 Q 网络完全学会了钻空子——代理奖励接近满分却从未达成真实目标。作者引入约束强化学习,惩罚利用代理与真实目标差距的具体行为,最终策略消除了博弈行为并大幅恢复真实目标表现。研究还推导并验证了一个精确核算恒等式,证明成本信号精确度量了代理与真实目标的差距,在硬约束变体下可提供确定性保证。
研究者从周期性 XXZ 链构造出坐标 Bethe-Ansatz 概率律,并与相同一、二位点矩下的最大熵成对投影对比。在八位点三激发扇区中,对称性使全概率律差异降为一维,由连续三位点矩 δ 决定,该差异在 Δ=(3+√3)/2 处变号并恰好消失。
研究者提出因果积分梯度(CIG)与因果期望梯度(CEG),将输入特征间的先验因果结构嵌入积分路径,在保持计算效率的同时把特征归因分解为直接效应与经因果后代的间接效应。
研究在 Qwen3.8-27B 上区分了自我索引与自我指涉两个功能层级:将同一文本分别置于 Assistant、User、System 消息中,模型在全部 64 层、所有测试文本上都能沿共享方向区分自身消息与外部来源。
研究者提出 TIPS,一个约 600K 参数的推理时控制器,让 LLaDA-8B-Instruct 在解码时同时学习取消掩码与重新掩码,而底层语言模型保持冻结。
研究者构建 HomogeneityNLI 诊断数据集(1,000 个最小对,覆盖 10 种逻辑条件),评测 7 个开放权重模型,发现普遍存在 Bivalence Bias:零样本下无模型能在超过 15% 的场景中同时识别两种极性的真值间隙,否定式复数定指在 84% 的情况下被判定为 False。
研究者提出流式记忆框架 MaLoW,用循环 HyperNetwork 将视频观测增量固化为固定大小的 LoRA 权重,让历史以权重形式延续、当前观测仍作为输入,避免历史与当前画面争夺上下文。
NOEMA 是一种时间卷积解码器,将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐,实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10,显著优于基线解码器,且候选池加入数千个训练中未出现的干扰项后优势依然保持。
DemoStream 是一个通过优化示教质量来提升行为克隆成功率的 TAMP 系统,引入批量 TAMP 采样操作与批量约束满足算法以并行探索大量解。仿真实验消融了不同动作空间、代价函数和批量大小对下游策略成功率的影响,并利用 TAMP 的安全保证以平均每小时 66 条示教的速度直接采集真实世界示教数据。
研究者用低秩适配器和分类头微调 Qwen3-4B-Base,用于证据推断任务,判断试验结果是显著增加、显著减少还是无显著差异。该模型仅用 2,657 篇训练文章中 1,431 篇 CC BY、CC0 或公有领域文章微调,以 Apache License 2.0 发布并可在笔记本上运行。
GraphBEAT 是一个时序图表示学习框架,将临床事件按时间分桶并转化为患者特异性时序有向图,用于胃肠道癌症早期风险分层。在多站点纵向诊断编码与实验室检测数据上预测胰腺癌、肝癌和肠癌的 12、24、36 个月提前诊断,GraphBEAT 全面优于 GraphSAGE、GAT、GCN 及 Transformer、LSTM 基线。
针对块扩散语言模型(BDLM)在线策略蒸馏(OPD)在大块尺寸下训练不稳定的问题,研究者提出无偏蒸馏框架 Un-OPD,通过边界感知步过滤消除师生块边界不匹配导致的上下文错位,并用支持度重平衡的置信度校准抑制高支持位置的过度自信崩溃。该框架还引入 rollout 复用机制降低生成开销,在数学推理与代码生成基准上稳定训练并将实际训练时间缩短约一半。
研究追踪了在 11 种真实 Deepfake 生成方法的时间序列上渐进训练的检测器,发现准确率下降通常会加剧不公平性,而公平性随时间改善的情况很少。在 rehearsal、prompts、正则化三类持续学习方法中,不公平的遗忘无法仅用数据代表性不足解释,可能与表征学习纠缠。作者呼吁持续学习方法在平衡稳定性与可塑性时纳入社会结果考量。
该研究用正交多项式基将网络输出展开为广义傅里叶级数,把梯度下降动力学写成常微分方程,通过分析动力学矩阵 H 的特征值衰减与特征向量形状来解释频谱偏置。该框架可推广到 sigmoid、ReLU 等一般激活函数,对数据分布假设较弱,并避免有限域傅里叶分析中的混叠效应。
一项 n=56 参与者、392 次视频问答试验的在线研究发现,交互后的信任强烈预测用户委托选择(OR=14.97),但信任与委托仍属不同维度,验证是主导策略且常与高信任共存。委托还随任务顺序增加(OR=1.22),表明存在自评信任无法捕捉的经验成分。研究据此提出"enacted delegation traces"框架,以非侵入方式观察人机协作中的委托行为。
LEAP 通过将录音切分为固定时长块并先做轻量定位、再对高分窗口做有界重编码答题,使答题输入与峰值上下文不随录制时长增长。在多个 AVQA 基准上,LEAP 较 Qwen3-Omni-30B-A3B 基线提升 4.5-16.8%,并在 MiniCPM-o 4.5 上超出其已公布结果 3.1-13.0%。
BridgeAfford 通过交互区域对齐(IRA)和视觉证据聚合(VEA)两个机制弥合查询与目标区域间的语义差距,提升 3D 可供性定位对未见物体的泛化能力。在 LASO 和 PIAD 数据集上,该方法优于现有方案,尤其在未见物体上表现突出。
研究者提出因果编码器-解码器架构 Global State Model(GSM),将历史信息获取与深层计算分离:编码器通过多阶段稀疏检索把长程信息聚合为固定大小的共享状态,解码器层只在该状态上做连续变换,不再重复访问历史。
一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本,结果显示三个 LLM 的 CodeHealth 系数均为负,每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关,且调整被评分文件大小后关联消失,研究者将其解释为文件大小的中介效应。
一篇综述系统梳理了脑到语言解码研究,将神经活动转化为语言或表达输出,涵盖侵入式与非侵入式测量,检索无年份下限、来源更新至 2026 年 9 月。文章把 Articulated、Inner、Perceived 三类任务与其涉及的神经元群体、解码器可用表征及输出对应起来,并比较已发表性能与通信成本。
研究将 Jev 作为语义决策组件进行评测,在 10 个科学案例的 20 个 Choices 上比较 12 种模型配置,每个重复 5 次,分别测量语义选择、下游输出与最终结论标签。Jev 在语义完全正确率上与另外 5 种配置持平,并在成功响应中取得最低中位延迟。三个对比模型在一个 culture-history 问题上出现 7 次错误选择,改变了下游计数却保留了正确的最终标签。
研究在可解主题模型下为上下文学习与专业化预测器之间的竞争提供了学习理论。理论预测上下文预测器在早期即可用,而专业化预测器需训练 token 数超过数据生成过程的参数量后才出现。训练后的 Transformer 复现了这两个尺度及分离交叉点,且无需拟合参数。
针对同行评审生成和图像描述等存在多个有效输出的中等熵文本生成任务,研究者提出目标端整合方法,将同一输入的所有参考合并为保留全部独立信息单元的单一目标,并构建了包含36,537篇论文和31,014张图像的MERC-67K数据集。
研究团队提出 Anvil 统一框架,用于具身空间智能的数据生成、训练与评测,包含数据飞轮 Anvil-Gen、场景对齐监督 Anvil-Ben 和 9B 蒸馏学生模型 Anvil-MOPD。
研究用优化确定性等价(OCE)统一刻画风险敏感离线强化学习,提出动态-OCE 与静态-OCE 两种形式。在表格设定下给出悲观值迭代算法及紧的次线性次优上界,并建立 minimax 下界;针对大状态空间进一步提出悲观最小二乘值迭代算法,将 OCE 风险准则融入线性函数逼近,给出依赖效用函数与特征维度 d 的次线性保证。作者称这是动态与静态 OCE RL 的首个离线算法及首个上下界。
研究者提出 Causal-Beam-Guided Subtask Transfer(CBST),从人类操作视频中学习操作相关表征,并用机器人演示将其锚定到任务级语义变量,使机器人无需人机动作对应即可从自身观测生成动作。在机器人操作基准上,CBST 的任务成功率优于对应的 world-action 模型基线。
一篇综述系统梳理了医疗 LLM 评估的四大关键领域:研究设计原则、统计方法、能力评估与临床应用评估。能力评估涵盖多项选择、智能体和多轮 benchmark,以及 token 用量与延迟等运行指标;临床应用评估则涉及自由文本输出准确性验证,如人工审核和 LLM-as-a-judge,以及临床试验方法。文章强调评估方法需与研究问题对齐。
DINO-FIL 是一个基于 Transformer 的框架,用于像素级定位生成式图像伪造,它结合预训练 DINOv3 ViT-H+/16 编码器的多层表示与轻量融合解码器,捕捉语义结构和编辑引入的细粒度纹理不一致。
研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
CF-AVSS 是一个由粗到细的两阶段音视频语音分离框架,第一阶段用扩展至双同步视觉流的 SPAV-TFGridNet 生成视觉排序的粗估计,第二阶段用基于 TFGridNet 的目标说话人细化网络结合原始混合信号进一步提升质量,最后经开发集校准的融合输出。