DPOison-VL:视觉语言模型 DPO 的干净偏好投毒攻击
DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击,仅通过对少量训练图像施加不可感知扰动,即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化,并提出偏好位移分数用于投毒样本选择,在仅 2% 投毒数据下实现最高 98% 攻击成功率,且具备跨模型迁移性,同时基本保持干净准确率与通用能力。
DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击,仅通过对少量训练图像施加不可感知扰动,即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化,并提出偏好位移分数用于投毒样本选择,在仅 2% 投毒数据下实现最高 98% 攻击成功率,且具备跨模型迁移性,同时基本保持干净准确率与通用能力。
LLM2R 将 3D 零件装配转化为序列建模,用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token 块,再由经 LoRA 适配的因果 LLM 单次前向预测全部位姿。
研究发现多模态 LLM 的投影器训练阶段仅需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的投影器可线性插值而性能基本保持,表明该阶段主要完成粗对齐。
研究者提出 PhysicsSliders(PXS),基于 15 个材质、几何与接触参数在模拟接触音上训练,可控制硬度、尺寸、速度与阻尼并支持房间描述。两个独立训练变体分别接受直接参数输入或数值化描述文本,在固定目标下生成频谱可区分的输出。
ACCRUE 是一个持续离线策略强化学习框架,通过在任务间传递轻量 actor 和 critic 网络,让每个阶段复用先前 RL 获得的行为与价值知识。在仿真和真机接触密集型装配任务中,ACCRUE 加速后续任务学习且几乎无遗忘,真机训练时间减少 31.0% 至 68.5%。
GeoMER 提出欧几里得-双曲联合几何建模框架,通过双曲情感核心路由(HypGeoRoute)在双曲流形上完成几何感知的核心分配与聚合,与欧几里得多模态融合模块(EuclFusion)互补,共同建模 token 级跨模态语义交互与潜在情感表示。
针对多目标 bandit 中的最佳臂识别(BAI),研究刻画了多目标何时以及为何比单目标更容易。对高斯 bandit,作者建立了在任意偏好序下一致成立的固定置信度特征时间下界,并在 Pareto、线性与字典序偏好下揭示三种现象:识别更大的最优集合可能比识别唯一最优解所需样本更少;向量反馈相对坐标反馈的优势取决于偏好序;多目标识别甚至可能比对应的最易单目标问题更省样本。
一项基于 2022 年以来 12,924 篇英文 AI 新闻文章的研究,用大语言模型提取文章隐含的"叙事寓意",对比北美、中国、印度和中东四个地区的媒体报道。结果显示,北美 AI 报道独有警示性叙事,对创新与协作的强调少于其他地区,但这一模式主要源于北美新闻整体存在的区域性负面偏好,而非对 AI 本身的担忧更强。
研究针对有限时域 POSG 提出"策略评估对称性"概念:当完整策略评估与某变换可交换时,该变换即为对称性,其智能体轨道定义了结构化的智能体类型,且分类不依赖具体策略或初始状态分布。研究证明逐分量环境自同构必为策略评估对称性,但逆命题不成立;在协作 Dec-POMDP 中,即使共享同一奖励,智能体也可属于不同结构类型。
APTree 是一个模型驱动框架,将自动化任务规划与基于行为树的模块化任务执行相结合,通过协调多个异构符号规划器在运行时自动生成并组合模块化任务计划。研究团队为其开发了领域特定语言及配套执行引擎,并在真实 livMatS Biomimetic Shell 展馆上验证,可检测设计时与运行时的规格和规划错误,并跨多个规划模块协调三种符号规划器生成大规模任务计划。
自回归语言模型每一步预测产生的词表 logit 向量,其有序头部 logits 在不同预测上下文、架构和规模下均遵循 log-linear 关系 z_(r) ≈ μ - α log r,并在预训练中逐步显现。受控次序统计基线可解释这一几何形态,却无法解释斜率 α 的系统性偏移:训练后模型 α ≈ 1.4–1.7,远高于初始化基线 α ≈ 0.2,且 α 与预测性能相关。
研究者提出 EgoOmniWorld 基准,以"自我-动作-世界"交互循环为统一原则,围绕 Node、Edge、Chain、Loop 四种交互结构组织,包含 24,166 个 QA 组(20,284 训练、3,882 测试)。
研究者提出 FaithAlign,首个理论级忠实性评测基准,包含 460 个条目和 4,982 条短语级标注链接,将忠实性评估建模为上下文感知的"先对齐再标注"问题。
一项单中心横断面研究对 155 名 14–20 岁参与者开展情绪-空间自由观看与记忆引导回忆任务,发现抑郁严重程度越高,注视分配熵越低(β=-0.599)、区域间切换越少(β=-0.526)、首次进入目标区潜伏期越长(β=0.572)、目标停留比例越低(β=-0.678,q<0.001)。
针对大型视觉语言模型在长时程视觉语言导航中因上下文长度限制、历史观测冗余和空间对齐不稳定导致性能下降的问题,研究者提出 MemoryVLN 记忆驱动导航系统,通过长序列压缩、自我感知记忆表示、分层记忆库与记忆增强机制,将原始导航历史转化为紧凑、空间锚定且可选择性检索复用的导航经验。
研究者提出 PerturbEnergy,通过在扰动表征上引入条件能量先验,对与给定扰动兼容的表征赋予更低能量,从而将潜空间显式偏向扰动偏好区域。该方法可集成进自编码器架构,其 ELBO 与完整自编码器的 ELBO 等价,并被证明能提升表征与扰动间条件互信息的下界。
STAMP(Sequential Tree Attachment-based Motif-Preserving representation)是一种拓扑感知分子语言,将 motif 身份、连接位点与树拓扑分开编码,使片段可跨上下文复用、子树可直接访问。
GPT-4o 对 2024 年 AFA 和 NBER 金融会议论文的评审打分,比作者声誉更能预测论文能否在未来两年发表于三大金融顶刊——得分高一个标准差的论文发表概率高 44%。该信息来自模型对正确性和表述的判断,而其对原创性和重要性的判断不携带任何预测信息,强调重要性的评审指南也无帮助。这一"正确性 vs 贡献性"的分野在会计论文和更新的 GPT-5 上同样成立。
FedGraph 通过图聚合框架防御联邦 LLM 微调中的后门攻击,将客户端建模为动态图中的节点并提取结构特征,从而区分恶意与良性更新。实验显示其将攻击成功率降至 10% 以下,平均检测准确率达 95.5%,误报率仅 2.33%。该工作已被 ICLR 2026 Workshop on Principled Design for Trustworthy AI 接收。
研究团队从零训练了 Agaram 2.5B——一个 25 亿参数的泰米尔语-英语模型,在约 500 亿 token(58% 泰米尔语)上使用单节点 8 张 H100 GPU 耗时约六天完成。
针对路边传感器高度、倾角与视场差异大导致端到端模型难以泛化的问题,该研究提出一种低成本两阶段方法:第一阶段用现成方法提取 2D 相机检测框与对应 3D 雷达点,第二阶段由雷达确定 3D 位置、预定义模板确定尺寸、微型神经网络预测站点专属偏航角,从而构建 3D 有向包围盒。
该论文对五种事实性对齐方法做了首次独立复现,涵盖 on-policy RL(PPO、GRPO、Dr. GRPO)与离线偏好优化(DPO、KTO),并在统一基准和统一评测指标下比较。
研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响,发现适配所处位置决定了任务信息如何传递到输出:优化文本主要改变回复构建,输入级提示词将影响写入内容表征,逐层 prefix 则通过注意力维持直接控制,在 MoE 模型中还引发不同的专家路由模式。常见的表征级度量对通用上下文变化反应强烈,无法可靠区分有用适配与匹配的安慰剂。
研究比较了五种离线图嵌入变换及图修改嵌入与原始嵌入的搭配策略,无需查询时访问图。在合成职业网络基准上,直接替换原始嵌入会降低证据召回,而多阶段策略用图修改嵌入引导搜索、保留原始嵌入维持语义相关性,在需要关联事实或候选比较的问题上召回率相对纯向量检索最高提升 25.9%,并以少 40% 的返回节点数达到基线召回。检索表现更取决于图修改嵌入的使用方式,而非生成方式。
PRISM(Probe-based Residual Inference of Scoring Misalignment)通过固定被评内容、测量属性被强调或弱化时的分数变化,将评判器响应建模为代理 Jacobian,并用岭回归在人工标签上学习对基线分数的校正。
Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。
Orchestra 是一个将任务规划与执行管理从动作生成中分离的智能体框架,可把多模态指令拆解为有序子任务并跟踪执行进度。在九个 RMBench 任务上平均成功率达 68.22%,比 Mem-0 高出 26.22 个百分点;在 RMBench-Compose 上平均成功长度(ASL)为 7.35 个子任务,是 HarnessVLA 的 2.46 倍。
研究用 BAVGROUND 基准(206 道源题对齐巴伐利亚语、标准德语和英语)测试 14 个 7B–10B 开源指令模型,比较 BF16 与 8-bit GPTQ 及 GPTQ、AWQ 两种 4-bit 设置。
研究团队提出虚拟鞋类试穿框架 ShoeFit,并发布多视角鞋类试穿数据集 MVShoes,包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构,通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位,并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。
SimInter 通过两个 LLM 智能体之间的合成访谈,结合用户统计画像与历史对话证据,挖掘决策风格、方面级偏好和领域专长等隐式行为特征,并在画像增强前由审计智能体逐轮标记潜在的编造与刻板印象。
AffectWorld 是一个评估"情绪-动作-世界状态"链条的世界模型基准,包含 1,498 个日常视频样本,覆盖世界状态一致性、情绪-动作一致性和因果一致性三项任务,并设 233 个反事实样本检验情绪改变是否带来动作与后果的相应变化。
研究比较了 SGD、Adam、Muon 三种优化器在训练数据重建攻击下的隐私泄露差异,核心区分在于隐式偏差的权重特异性。SGD 和 Muon 的平稳性条件保留了足够权重信息,实践中可重建训练样本;Adam 在 ℓ∞ 隐式偏差区间仅编码最大坐标及其符号的离散模式,对评估的攻击表现出持续更强的抵抗。
JevGPT 是一个面向自主研究的双系统架构,将快速证据处理与审慎研究规划相结合:System Two 设定证据目标并整合发现,System One 定位支撑、评估相关性并引导进一步检查,独立来源判断并行运行。在固定语料问答和文档排序实验中,JevGPT 取得领先任务表现,完成更快、成本低于同等有效的研究智能体,并在研究循环中覆盖更多支撑文档。
研究者提出 Ciphered Skill Injection(CSI),将恶意指令编码后嵌入第三方技能文件,让 LLM 智能体自行解码并执行。在八个模型、139 组注入任务上,Caesar 及分层变体的攻击成功率最高分别达 47.5% 和 40.3%,且成功解码并不必然导致攻击成功,分层效果因模型而异。测试的技能扫描器几乎无法识别此类注入技能。
FALLNEST 通过归一化梯度与嵌入匹配的合成时频浓缩,将大规模不平衡 IMU 数据集蒸馏为类别均衡的微型合成训练集。该方法引入 7 通道输入、类别均衡 K-Means 初始化、梯度裁剪与多视角傅里叶域增强,使类别均衡来自浓缩集本身而非重采样。
针对非增强 CT(NCCT)组织对比度低、难以识别肝脏病灶的问题,研究者提出 LiFUSE 自监督预训练框架,其频率分支用随机带阻掩码与频谱重建捕捉病灶与周围组织的细微差异,空间分支做混合粒度掩码体素重建以适配不同大小和形态的病灶,并通过跨域一致性方案耦合两个分支。
针对 VLM 逐页解析长文档时标题层级缺乏文档级一致性的问题,研究者提出一种基于 VLM 的框架,通过分层多模态记忆增量重建标题层级,该记忆按锚点保留此前处理页面的紧凑子集,并选取每层最新节点供模型观察各层级标题的视觉、文本与布局模式。
研究者提出可验证智能体保险(VAI),让智能体提供方把程序化策略承诺写入不可篡改账本的智能合约并附资金托管,用户发现违规后可请验证器审查智能体执行轨迹,验证通过即从托管资金获赔。该框架已在以太坊 layer-2 网络端到端实现,在三个主流智能体基准上对含违规的运行检出率为 42.2%;若让智能体显式输出用户授权与安全相关结构化对象,检出率可升至 83.0%。
一项受控评估检验了被称为 HyperDG 的窄实现——训练时用可学习正标量重缩放欧氏编码器特征、推理时对未缩放特征使用普通线性分类器,在 PACS、VLCS、Office Home、TerraIncognita 四个数据集共 384 次运行中,其等数据集宏平均点估计比原生 DomainBed ERM 低 1.61 个百分点(95% 聚类 CI [-3.17, -0.04])。
TextualRL 是一个无梯度的强化学习框架,以同一任务同一上下文下的一组 rollout 而非单条轨迹作为策略评判单元,通过 Groupwise Policy Critique 与 Cross-Group Policy Update 生成有界文本补丁,并由留出验证奖励决定是否采纳。
共 2000 篇论文