跳到正文
10月12日周一
  1. arXiv cs.AI29

    生成模型何时能充当模拟器:可编辑性研究

    研究探讨生成模型能否通过"可编辑性"充当模拟器,即改变模型潜在表示能否产生与编辑模拟器状态相同的下一步输出。作者在离散棋盘游戏 Othello 和自建连续世界 Rayworld 中测试了探针解码与逆映射两种方式,发现哪种映射成功强烈依赖环境:Othello 中可编辑性随游戏简化平滑下降,微小规则改动即产生巨大影响;Rayworld 中探针无法沿模拟器连续状态引导,但逆映射仍能设定模型状态。

  2. arXiv cs.AI24

    CircuitTree:将电路组合成音节转录器

    研究者提出 CircuitTree,一种基于 Θ(N log N) 树形组合调度的数据结构,可将任意多个电路组合进单一模型,克服了此前朴素并集方法的局限。他们将从 HuBERT 中剪枝出的音素分类电路组合成音节分类器,这是 39 个音素电路单独都不具备的能力。

  3. arXiv cs.AI24

    MENTOR:用同策略教学干预从失败中学习

    针对 RLVR 训练中的"零奖励坍缩",研究者提出多智能体框架 MENTOR,实时诊断失败根因并动态生成教学提示,引导学习智能体下一次尝试。MENTOR 可作为即插即用模块接入 GRPO 等策略优化流程,无需改动训练基础设施。在数学与代码生成任务上,它优于现有基线,在 Llama-3.2-3B-Instruct 上相对基座模型平均提升最高达 78.3%。

  4. arXiv cs.AI36

    SqueezeBench:抗饱和的数学能力评测基准

    研究者提出 SqueezeBench,一种抗饱和的数学能力评测基准:每道题固定一个仅小 n 已知取值的整数函数 f(n),提交需用 Lean 函数给出可机器验证的上下界证明,成功即抬高门槛而非移除题目。基准发布十个极值组合学问题与二十个已证初始记录;基于前沿语言模型的智能体在每题最多一小时限制下被接受 82 次提交并改进全部记录,两个更新模型的智能体又改进 20 个记录中的 19 个。

  5. arXiv cs.AI23

    RoleWorld:用功能角色抽象实现世界模型中的知识迁移

    RoleWorld 是一种符号化世界建模方法,用可复用原型加环境专属参数值构成的功能角色抽象,来表示物体在交互中的行为方式。教师 LLM 从交互轨迹中提取角色原型、基于角色实例的可执行转移规则,以及指导 actor LLM 决策的技能;在目标环境中 actor 无需教师,通过交互主动检验角色实例假设并在线修正角色分配与参数,不更新 LLM 参数、转移规则保持固定。

  6. arXiv cs.AI25

    VIGOR:面向场景程序的工业几何优化与修复,实现可验证的工程可行性

    针对 LLM 生成的工业场景程序"可执行但工程不可行"的问题,研究者构建了含 1,749 个可构建场景、每个场景 94 项最终状态几何检查的数据集,并提出 VIGOR,将监督式场景程序生成与执行验证、分阶段几何精修结合。VIGOR 达到 96.86% Complete Feasibility 和 91.20 的 Overall 分数,Overall 较最强基线高出 10.42 分。

  7. arXiv cs.AI31

    面向 LLM 多智能体系统的能力感知编排框架

    研究者提出一种两阶段能力感知框架,用于 LLM 多智能体系统(MAS)的自动编排:先建模 LLM 主干对当前查询的任务条件能力,再据此调整角色激活与通信图。该方法在六个基准上平均得分 93.81%;对高能力主干,平均准确率从 87.22 提升至 89.97,同时 token 成本降低 36.26%;对低能力主干,较现有方法平均再提升 4.58 分,该趋势在未见过的主干上同样成立。

  8. arXiv cs.AI29

    DP-MIND:差分隐私记忆引导的长上下文推理框架

    针对百万 token 级长上下文下差分隐私推理效用严重退化的问题,研究者提出记忆引导框架 DP-MIND,通过本地扰动输入、分块处理并用紧凑记忆保留任务相关信息,将差分隐私推理扩展至百万 token 上下文。该框架用强化学习直接在扰动输入上优化记忆构建策略,并以本地去噪模块恢复被扰动破坏的答案片段。在多个长上下文基准上,DP-MIND 在可扩展性与效用上均优于现有差分隐私及长上下文推理基线。

  9. arXiv cs.AI23

    位置重要吗?黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    研究提出一种黑盒因果测试,通过 CLAP 相似度定位音频证据区域并用频谱门控移除,在三个 LALM 上以 2x2x2 网格对比随机窗口。在 Qwen2-Audio-7B 上,定位消融的原始 AUROC(0.613)低于 blank 波形(0.721),但这是时长混淆所致;固定时长后定位在每个网格单元均优于随机移除。

  10. arXiv cs.AI36

    Jev 加速智能体决策的实证研究:更快决策未必带来更好智能体

    研究在 ALFWorld 与 AndroidWorld 两个场景、五类智能体、4500 次任务执行中评估 Jev 对决策效率的影响,发现 Jev 显著降低决策成本与延迟,但任务级收益因工作流而异。ALFWorld 任务成功率接近基线,两个移动端智能体成功率明显下降,辅助推理与额外交互吸收了决策节省,失败恢复与过早完成限制交付,某智能体单次尝试成本下降但每个成功结果的平均成本反而上升。

  11. arXiv cs.AI23

    SWEAR:通过自评难度实现分段高效音频推理

    SWEAR 是一个难度感知的音频推理框架,通过离线评估生成五维难度分数与压缩推理轨迹,在监督微调中学习难度信号,并用强化学习在不同推理阶段自适应分配推理量。在 MMAU-test-mini 和 MMAR 上,SWEAR 在提升准确率的同时大幅减少生成 token,对简单样本缩短推理且不损失困难样本表现。

  12. arXiv cs.AI31

    通过更少训练学到更多:不确定性引导的渐进收缩实现高效推理后训练

    研究者提出不确定性引导的渐进收缩框架,通过蒙特卡洛推理树暴露过程级不确定性,将教师生成的 CoT 语料先收缩为紧凑池,再在 SFT 中按学生学习状态在线路由优化。在多种推理基准和 LLM 家族上,该方法仅用全量数据 SFT 0.22% 的优化预算、训练曝光减少超 450 倍,仍保持或提升推理性能,并可跨异构学生模型、黑盒教师和弱到强迁移泛化。

  13. arXiv cs.AI29

    通过模型切片实现协作学习与推理

    研究提出"协作学习"方法,通过模型切片将大模型替换为参数量相当的异构小模型,让先前的推理能在不同参数化下被重新评估,并用金字塔监督结合协议蒸馏与步骤级监督优化协作决策。在多跳问答、数学推理、代码生成和开放式约束生成四类任务上,训练后的异构模型性能达到或超过原大模型及多智能体基线,推理效率更高。

  14. arXiv cs.AI22

    用语言监督神经解码:LaS 让文本描述成为神经解码的通用参照

    研究提出 Language as Supervision(LaS),通过学习到的投影将神经特征与自然语言类别描述对齐,并用候选文本原型进行分类。在视觉、运动与语音解码的七种编码器架构上,LaS 将语音解码准确率较匹配的 CLS 基线最高提升 17.15 个百分点,并支持候选集复用与标签监督的受试者、会话适配。

  15. arXiv cs.AI31

    Seq-Drifting:通过序列漂移实现一步文本生成

    Seq-Drifting 提出一种对连续 token 表示序列施加漂移的框架,直接学习从高斯噪声到文本的映射,在推理时一次前向传播即可联合生成全部 token。该方法在 LM1B 上一步生成达到 36.01 的生成困惑度,并在无条件与条件生成、翻译、摘要和推理任务上展现竞争力。

  16. arXiv cs.AI39

    神经网络比单个神经元所显示的更具模块化

    研究提出单元级、正交、线性三层嵌套的模块化框架,并通过选择性消融进行因果评估,发现视觉模型、语言模型和多任务 RNN 虽缺乏单元级模块化,却常在子空间层面呈现清晰的功能模块化。在视觉与语言模型中,内容与风格、句法与语义在子空间消融下分离,且这些子空间与脑数据的对齐方式各异。该分解还能在 RNN 中恢复任务间的双重分离,为机制可解释性提供支持。

  17. arXiv cs.AI22

    EliteTable:面向可执行控制策略的自改进程序搜索

    EliteTable 是一种由 LLM 引导的自改进程序搜索算法,用固定容量的高分方案表来指导新提案、已有方案编辑与多方案重组。在六个 Gymnasium 控制任务上各进行十代搜索、每代五十个候选槽位,六项任务的候选分数中位数均从第一代到末代上升,五项任务的选中优胜者搜索分数中位数上升;CartPole-v1 中十次搜索的优胜者均在第一代达到搜索分数上限。

  18. arXiv cs.CL24

    DREAM:面向多模态多智能体辩论的动态分辨率分配方法

    DREAM 通过动态分辨率分配与不确定性引导回滚聚合两项机制改进多模态多智能体辩论,前者用零样本探测轮结合 ANLL 为每个智能体分配最优分辨率,后者追踪各轮不确定性以恢复被群体压力覆盖的低不确定性答案。在六个多模态数据集上,DREAM 无需针对数据集调参,将准确率- token 权衡较基线提升 1.5-3.2% 准确率。

  19. arXiv cs.CL54

    论文提出提示注入防御的发布前审计框架,攻击成功率最高升至 96%

    arXiv 论文提出一套提示注入防御的发布前审计框架,利用微调过程中的中间检查点作为优化型攻击的起点,无需防御方自行发明新的 SOTA 攻击。作者用 GCG 和 BEAST 等优化型攻击实例化该框架,将针对当前最先进防御的攻击成功率从接近零提升到最高 96%,暴露出此前评测遗漏的弱点。