Tiny Recursive Message Passing:16k 参数模型在 Sudoku-Extreme 上达约 99% 测试准确率
研究者将递归 Transformer 的深度监督、截断递归与测试时离散演绎格等训练流程迁移到消息传递网络,发现两者互补,可在 Sudoku-Extreme 上以 16k 参数模型取得约 99% 测试准确率,H100 训练约 10 分钟、CPU 约 9 小时。
研究者将递归 Transformer 的深度监督、截断递归与测试时离散演绎格等训练流程迁移到消息传递网络,发现两者互补,可在 Sudoku-Extreme 上以 16k 参数模型取得约 99% 测试准确率,H100 训练约 10 分钟、CPU 约 9 小时。
研究者提出 ST-GRU 单元,以 GRU 风格的两个门(更新门与重置门)替代 ST-LSTM 每个记忆状态的三个门,并将时间记忆状态并入隐藏状态,参数量减少约 5%。
DTScribe 可读取数字孪生文档,自动输出概念架构可视化与报告页面,并生成 Ontological Modeling Language 描述模型。它通过大语言模型评审与本体推理的细化循环提升产物质量,使约 20B 参数的本地中型模型达到接近更大模型的效果。研究建议避免用大语言模型做评审、避免用聚类做特征提取,并推荐至少两轮推理循环。
研究者提出 SPACE(Subspace Projection for Adapted Checkpoint Enhancement),一种无需数据、无需训练的后处理方法,仅凭 SFT 前后 checkpoint 即可将 SFT 更新中位于 SFT 前权重主子空间的分量选择性回退,同时保留正交补空间中的更新。
研究刻画了在多种伪造技术下防伪造的最优资源分配规则,并给出一个诚实条件——满足该条件时,这些规则可解决规划者最大化配置剩余与智能体福利加权和的无约束问题。研究指出,朴素最优规则会导致伪造与配置低效,而兼顾伪造的配置效率优化通常会诱发伪造,给智能体带来高昂成本,并产生负外部性。
研究者提出直接知识图谱交互(DKGI),让语言模型 Agent 直接在完整的节点与边文件上编写 Python 代码创建图谱访问工具,并将执行与 shell 搜索、文件检查交错进行。
研究复现了 SDPO 和 OPSD 两种自我蒸馏方法,发现在代码、科学、工具使用和数学推理任务上,其报告的收益无法稳定泛化到未见问题,主要源于过拟合或迁移已有推理行为,而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱,在 Qwen3(1.7B-14B)和 OLMo-3-7B 上的实验表明,有效利用特权信息提升推理仍是未解难题。
研究者提出 JevProbe,首个自动化评估 Jev Program Decision Hijacking(JPDH)的框架,追踪攻击者从可达上下文到程序决策再到下游安全后果的影响链。
Jev-ToM 在来自 9 个心智理论(ToM)基准、覆盖 6 类能力的 11,117 道英文文本问题上,对比了 5 个类型化决策模型与 7 个生成式基线。TypeSafe Jev 取得 73.2% 的 source-balanced 准确率(含原生控制项),在全部 6 类能力上排名第一或第二,并在信念、目标/欲望/意图和情感上领先。
DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击,仅通过对少量训练图像施加不可感知扰动,即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化,并提出偏好位移分数用于投毒样本选择,在仅 2% 投毒数据下实现最高 98% 攻击成功率,且具备跨模型迁移性,同时基本保持干净准确率与通用能力。
LLM2R 将 3D 零件装配转化为序列建模,用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token 块,再由经 LoRA 适配的因果 LLM 单次前向预测全部位姿。
研究发现多模态 LLM 的投影器训练阶段仅需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的投影器可线性插值而性能基本保持,表明该阶段主要完成粗对齐。
研究者提出 PhysicsSliders(PXS),基于 15 个材质、几何与接触参数在模拟接触音上训练,可控制硬度、尺寸、速度与阻尼并支持房间描述。两个独立训练变体分别接受直接参数输入或数值化描述文本,在固定目标下生成频谱可区分的输出。
ACCRUE 是一个持续离线策略强化学习框架,通过在任务间传递轻量 actor 和 critic 网络,让每个阶段复用先前 RL 获得的行为与价值知识。在仿真和真机接触密集型装配任务中,ACCRUE 加速后续任务学习且几乎无遗忘,真机训练时间减少 31.0% 至 68.5%。
GeoMER 提出欧几里得-双曲联合几何建模框架,通过双曲情感核心路由(HypGeoRoute)在双曲流形上完成几何感知的核心分配与聚合,与欧几里得多模态融合模块(EuclFusion)互补,共同建模 token 级跨模态语义交互与潜在情感表示。
针对多目标 bandit 中的最佳臂识别(BAI),研究刻画了多目标何时以及为何比单目标更容易。对高斯 bandit,作者建立了在任意偏好序下一致成立的固定置信度特征时间下界,并在 Pareto、线性与字典序偏好下揭示三种现象:识别更大的最优集合可能比识别唯一最优解所需样本更少;向量反馈相对坐标反馈的优势取决于偏好序;多目标识别甚至可能比对应的最易单目标问题更省样本。
一项基于 2022 年以来 12,924 篇英文 AI 新闻文章的研究,用大语言模型提取文章隐含的"叙事寓意",对比北美、中国、印度和中东四个地区的媒体报道。结果显示,北美 AI 报道独有警示性叙事,对创新与协作的强调少于其他地区,但这一模式主要源于北美新闻整体存在的区域性负面偏好,而非对 AI 本身的担忧更强。
研究针对有限时域 POSG 提出"策略评估对称性"概念:当完整策略评估与某变换可交换时,该变换即为对称性,其智能体轨道定义了结构化的智能体类型,且分类不依赖具体策略或初始状态分布。研究证明逐分量环境自同构必为策略评估对称性,但逆命题不成立;在协作 Dec-POMDP 中,即使共享同一奖励,智能体也可属于不同结构类型。
APTree 是一个模型驱动框架,将自动化任务规划与基于行为树的模块化任务执行相结合,通过协调多个异构符号规划器在运行时自动生成并组合模块化任务计划。研究团队为其开发了领域特定语言及配套执行引擎,并在真实 livMatS Biomimetic Shell 展馆上验证,可检测设计时与运行时的规格和规划错误,并跨多个规划模块协调三种符号规划器生成大规模任务计划。
自回归语言模型每一步预测产生的词表 logit 向量,其有序头部 logits 在不同预测上下文、架构和规模下均遵循 log-linear 关系 z_(r) ≈ μ - α log r,并在预训练中逐步显现。受控次序统计基线可解释这一几何形态,却无法解释斜率 α 的系统性偏移:训练后模型 α ≈ 1.4–1.7,远高于初始化基线 α ≈ 0.2,且 α 与预测性能相关。
研究者提出 EgoOmniWorld 基准,以"自我-动作-世界"交互循环为统一原则,围绕 Node、Edge、Chain、Loop 四种交互结构组织,包含 24,166 个 QA 组(20,284 训练、3,882 测试)。
研究者提出 FaithAlign,首个理论级忠实性评测基准,包含 460 个条目和 4,982 条短语级标注链接,将忠实性评估建模为上下文感知的"先对齐再标注"问题。
一项单中心横断面研究对 155 名 14–20 岁参与者开展情绪-空间自由观看与记忆引导回忆任务,发现抑郁严重程度越高,注视分配熵越低(β=-0.599)、区域间切换越少(β=-0.526)、首次进入目标区潜伏期越长(β=0.572)、目标停留比例越低(β=-0.678,q<0.001)。
针对大型视觉语言模型在长时程视觉语言导航中因上下文长度限制、历史观测冗余和空间对齐不稳定导致性能下降的问题,研究者提出 MemoryVLN 记忆驱动导航系统,通过长序列压缩、自我感知记忆表示、分层记忆库与记忆增强机制,将原始导航历史转化为紧凑、空间锚定且可选择性检索复用的导航经验。
研究者提出 PerturbEnergy,通过在扰动表征上引入条件能量先验,对与给定扰动兼容的表征赋予更低能量,从而将潜空间显式偏向扰动偏好区域。该方法可集成进自编码器架构,其 ELBO 与完整自编码器的 ELBO 等价,并被证明能提升表征与扰动间条件互信息的下界。
STAMP(Sequential Tree Attachment-based Motif-Preserving representation)是一种拓扑感知分子语言,将 motif 身份、连接位点与树拓扑分开编码,使片段可跨上下文复用、子树可直接访问。
GPT-4o 对 2024 年 AFA 和 NBER 金融会议论文的评审打分,比作者声誉更能预测论文能否在未来两年发表于三大金融顶刊——得分高一个标准差的论文发表概率高 44%。该信息来自模型对正确性和表述的判断,而其对原创性和重要性的判断不携带任何预测信息,强调重要性的评审指南也无帮助。这一"正确性 vs 贡献性"的分野在会计论文和更新的 GPT-5 上同样成立。
FedGraph 通过图聚合框架防御联邦 LLM 微调中的后门攻击,将客户端建模为动态图中的节点并提取结构特征,从而区分恶意与良性更新。实验显示其将攻击成功率降至 10% 以下,平均检测准确率达 95.5%,误报率仅 2.33%。该工作已被 ICLR 2026 Workshop on Principled Design for Trustworthy AI 接收。
研究团队从零训练了 Agaram 2.5B——一个 25 亿参数的泰米尔语-英语模型,在约 500 亿 token(58% 泰米尔语)上使用单节点 8 张 H100 GPU 耗时约六天完成。
针对路边传感器高度、倾角与视场差异大导致端到端模型难以泛化的问题,该研究提出一种低成本两阶段方法:第一阶段用现成方法提取 2D 相机检测框与对应 3D 雷达点,第二阶段由雷达确定 3D 位置、预定义模板确定尺寸、微型神经网络预测站点专属偏航角,从而构建 3D 有向包围盒。
该论文对五种事实性对齐方法做了首次独立复现,涵盖 on-policy RL(PPO、GRPO、Dr. GRPO)与离线偏好优化(DPO、KTO),并在统一基准和统一评测指标下比较。
研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响,发现适配所处位置决定了任务信息如何传递到输出:优化文本主要改变回复构建,输入级提示词将影响写入内容表征,逐层 prefix 则通过注意力维持直接控制,在 MoE 模型中还引发不同的专家路由模式。常见的表征级度量对通用上下文变化反应强烈,无法可靠区分有用适配与匹配的安慰剂。
研究比较了五种离线图嵌入变换及图修改嵌入与原始嵌入的搭配策略,无需查询时访问图。在合成职业网络基准上,直接替换原始嵌入会降低证据召回,而多阶段策略用图修改嵌入引导搜索、保留原始嵌入维持语义相关性,在需要关联事实或候选比较的问题上召回率相对纯向量检索最高提升 25.9%,并以少 40% 的返回节点数达到基线召回。检索表现更取决于图修改嵌入的使用方式,而非生成方式。
PRISM(Probe-based Residual Inference of Scoring Misalignment)通过固定被评内容、测量属性被强调或弱化时的分数变化,将评判器响应建模为代理 Jacobian,并用岭回归在人工标签上学习对基线分数的校正。
Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。
Orchestra 是一个将任务规划与执行管理从动作生成中分离的智能体框架,可把多模态指令拆解为有序子任务并跟踪执行进度。在九个 RMBench 任务上平均成功率达 68.22%,比 Mem-0 高出 26.22 个百分点;在 RMBench-Compose 上平均成功长度(ASL)为 7.35 个子任务,是 HarnessVLA 的 2.46 倍。
研究用 BAVGROUND 基准(206 道源题对齐巴伐利亚语、标准德语和英语)测试 14 个 7B–10B 开源指令模型,比较 BF16 与 8-bit GPTQ 及 GPTQ、AWQ 两种 4-bit 设置。
研究团队提出虚拟鞋类试穿框架 ShoeFit,并发布多视角鞋类试穿数据集 MVShoes,包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构,通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位,并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。
SimInter 通过两个 LLM 智能体之间的合成访谈,结合用户统计画像与历史对话证据,挖掘决策风格、方面级偏好和领域专长等隐式行为特征,并在画像增强前由审计智能体逐轮标记潜在的编造与刻板印象。
AffectWorld 是一个评估"情绪-动作-世界状态"链条的世界模型基准,包含 1,498 个日常视频样本,覆盖世界状态一致性、情绪-动作一致性和因果一致性三项任务,并设 233 个反事实样本检验情绪改变是否带来动作与后果的相应变化。