MSP:无需配对跨模态数据训练多模态 LLM 的模态自博弈框架
研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。
研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。
研究者提出参数轨迹交叉编码方法,仅用检查点权重即可追踪语言模型读出层(unembedding matrix)的学习过程,发现模型隐藏状态能在自身读出层表达任务信息之前就已编码这些信息。
MAI-Gym 是一个开源一体化平台,统一移动、电脑和网页环境下的 GUI 智能体评测、数据采集与在线 RL 训练,支持十项基准并扩展到 20000 个并行环境实例。
研究在五个 benchmark 的 1,514 个长周期任务上,用七款 LLM 分析语义层、编排、压缩三种上下文工程技术单独及组合的效果。无这些技术的数据智能体分为调查者、过早作答者和提前放弃者三类行为组,每种技术只有匹配对应行为组才能转化为准确率提升;对调查者反而有害,编排会使其过度自信并损失 5 个百分点。
研究构建了 MorphAustro-Tok 分词器,将 Tagalog 词根作为连续单元输出并附加位置中缀 token,在 33 次运行中相比语料匹配的 BPE 基线在句级 chrF++ 上平均提升 0.84、1.49 和 3.40 分。
研究者用算法信息论形式化定义了组合结构:当各部分放在一起时揭示出单独建模时无法捕捉的共享结构,组合结构便由此涌现。该定义可跨尺度定位组合结构在对象中的出现位置,并借助可处理近似反推框架,在字符串和图像上直接优化生成具有层级复用与部分-整体组织的对象。研究还讨论了其对机器学习的启示,包括神经网络架构深度的新视角与构建组合数据课程的原则。
CoTranslator 通过将反向 CoT 响应翻译为经过验证的正向响应分布,实现高效推理蒸馏。在六个数学基准上,它比语义抑制方法平均准确率最高提升 5.82 个百分点;对两个 4B 学生模型,以 35.9% 的估算算力保留了拒绝采样 95.0% 的平均准确率。
研究者提出一种基于 ASP 的声明式混合框架,用于复杂动态环境中交互运动的预期推理,整合了交互轨迹动力学 ASP 模型、语义引导的"分支轨迹未来"预测,以及基于能量的优化模型来评估、排序和过滤预期结果。
论文指出技能-策略协同演化存在被忽视的脆弱性:现有方法用协同训练时的技能库评估策略,但部署后技能漂移会使策略失效,且漂移敏感度随训练推进而上升。为此提出面向部署的评估协议 CODA,模拟技能漂移并引入语义保持编辑下的一致性率与损坏技能抵抗率两项指标。在四种协同演化方法和五个基准(六种设置)上,最差情况成功率比交付技能库的峰值低 5-13 分,抹去其相对无技能基线增益的 52-93%。
研究将评估器引导推理建模为计算感知的三动作控制器,在信任当前答案、回退与继续扩展之间做选择,并按预测答案成功率与基于 rollout 的延续成功代理打分,显式计入计算成本。在留出的宽度扩展与修订任务上,该控制器相比校准选定的固定策略提升了观测效用,同时将归一化在线计算量分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上,两种设置的计算量均低于拟合 Q,效用差异较小且方向不一。
研究团队提出 PRISM 框架,评估激活干预在精度、语言和规模上的迁移能力。用 NF4 量化副本的行为标签可在极少场景下稳定估计干预方向,五语言 NF4 监督方向无需目标语言微调即可迁移至阿拉伯语,将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并借助配对良性激活迁移至最大 70B 参数的模型。实验代码与交互式结果浏览器已公开。
少样本 LoRA 端侧个性化会降低虚拟助手的开放集(OOS)拒绝能力:在五个公开意图分类基准上,OOS 拒绝 AUROC 平均下降 0.055–0.258,而域内准确率保持不变。
研究提出开放世界 AI 需满足三项要求:推理时学习、丰富表征与预测性解耦,并将任务建模为共享潜在因子、分解训练目标推导得出。在最高 8B 的语言模型上验证显示,满足要求的模型会随相关任务数据积累而提升,其余模型则退化,且扩大规模或层类型交错都无法修复。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文的收益。
研究者提出 ARIA 框架,让紧凑模型学会在多智能体系统执行过程中判断何时干预、如何修正。团队从四个多智能体框架、六个基准、八种宿主模型收集超 24,000 条轨迹,构建了含 3,953 对执行验证修复的 ARIA 数据集,用于训练模型识别失败并给出修正方案。该模型在事后与运行时修复中均表现良好,并可泛化到未见过的框架和宿主模型,代码已开源。
研究对 Qwen3-8B(非思考模式,20 个随机种子)在 400 步账本任务中逐步评分,发现重复识别错误在 episode 后期从每步 0.0019 升至 0.011,而计数器在 8,000 步中零错误。
MeddeX 将 QLoRA 微调的 LLaMA-3(8B)与 RAG 及多模态 Gemini Vision 层结合,为医学报告生成有证据支撑的摘要,支持文本 PDF、扫描件和放射影像。
VISTA 是一种免训练方法,可在固定预算下自动选择离散扩散模型的引导时间步,将稀疏引导建模为对理想全引导概率路径的近似,并用少量全引导预热生成的价值统计通过动态规划精确求解。
研究者构建了约 16 万篇巴西葡萄牙语金融新闻语料库,并基于多语言语义嵌入对比了余弦相似度、KNN 和 FAISS 三种相似度方法。在人工标注子集上 KNN 表现最佳,准确率 47.3%、F1 31.9%;在 LLM 标注子集上准确率约 50% 但 F1 降至近 20%,显示标签不平衡与弱标注噪声的负面影响。
论文提出 Praxist,一个以谱系为中心的代际系统,把可复现产物与评测结果转成带类型的证据图、分道前沿和议程,让后续尝试继承已验证机制与未决问题。
研究提出 ORACLE-SWE,量化 Reproduction Test、Regression Test、Edit Location、Execution Context、API Usage 等 oracle 与智能体提取信号对仓库级 SWE 任务成功率的贡献,并测量智能体实际找到的信号与 oracle 信号之间的差距。
研究分析 Reddit 上关于伴侣 AI 应用 Replika 的 14,081 条评论,发现功能错误(bug)会给用户带来情感代价、削弱亲密感,凸显伴侣 AI 需要更具韧性的设计系统。作者据此提出"Intimate AI"这一术语,并给出一个结合用户反馈与伦理 AI 开发的专家系统设计框架。
研究者提出 Athanor,一个在真实 GPU 上运行的智能体原生自主后训练研究系统(AutoPostTrain),让智能体自行读取数据集与评测结果、构建训练数据、修改训练算法并调参。
针对开放式专家任务中模型自写评分标准易被 solver 钻空子的问题,研究者提出 RRI(Recursive Reward Improvement),用奖励黑客对抗者监督奖励:先让对抗者写出钻评分标准空子的无用答案,再让同一模型在不看评分标准的情况下写诚实答案,经最多两步修复使诚实答案胜出。
研究分析了 100 个在沙特运营的电商网站对 PDPL 的合规情况,仅 31% 的网站在隐私政策中声明了数据保留期限、数据销毁权、数据副本获取权和投诉机制全部四项。排名靠前及托管于本地电商平台的网站不合规率显著更高。研究还使用 GPT-5 探索 LLM 自动化分析隐私政策的潜力。
研究者提出基于市场的后训练(MPT)框架,让去中心化智能体集群通过竞价决定谁参与行动,并联合学习动作策略与自编排行为,无需中央协调智能体。在具身手工、机器人导航和深度研究任务上,MPT 优于单体式后训练,且相同动作策略下学习到的自编排表现优于其他协调策略。训练后的集群对相关任务适应更快,推理时更大规模集群性能更好,且在智能体掉线时性能损失更小。代码与训练模型已公开。
TeamLens 是 Critsly 中一个可选界面,允许用户自愿向特定看板分享自报的 MBTI 类型,将账户激活与信息披露分离,并显示描述性组成计数。
一项混合方法试点研究让人类研究者协调多个 LLM 智能体,完成从 PDF 提取题目、将开放教材转为结构化表示、对齐教材内容到生成并评估 MCQ 的全流程。研究收集 1,071 道 SAT Math MCQ,用 24 项质量标准评估,生成题目平均质量较高,但从未达到 24/24 全部等效,差距集中在技能深度、认知投入、难度校准和元数据对齐。研究者工作也从"编写题目"转向规格制定、编排、验证与治理。
研究者提出持续对抗训练方法 CATCH,通过让模型靠近诚实回答、远离不诚实回答,在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景目标即可训练出可跨基准迁移的诚实行为。
MetaShare 是一个失败感知的智能体自我改进框架,将成功与失败的智能体修改连同带符号的性能变化一并记录,在每代进化前从其他谱系检索多样化高性能策略与高置信度失败案例,避免重复已知死路。
范式智能联合睿思智联宣布一站式生产级 AI 部署平台模域(ModelSphere)正式上线,面向企业用户免费开源,并已在 GitHub 开源。平台将算力管理、模型部署和运行优化整合到统一平台,内置自动弹性扩缩容、PD 分离部署、三级 KV 缓存等能力,并融合 EngineX 推理引擎统一调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力。
小红书 AllSpark 团队提出 Skill2Env,一套以 Agent 能力需求为导向的自动化环境合成框架,可从已有 Skills 出发构建可执行训练环境。该框架旨在把 Skills 转化为 Agent 的训练场,为智能体能力训练提供环境支撑。
德意志银行研究院将 AI 相关债券按评级分层分析后认为,AI 融资成本整体尚可,但甲骨文若失去 BBB 评级,可能触发投资级基金的强制抛售,成为 AI 信贷危机的引爆点。分析显示,AA 级的 Meta、Alphabet、英伟达、亚马逊享受准主权级待遇,短端融资成本约 5% 至 5.5%;BBB 级的甲骨文和 SpaceX 处于更低一档。
AltimateAI 开源数据工程工具层 altimate-code,提供 100+ 确定性工具,覆盖 SQL 分析、列级血缘、dbt、FinOps 与仓库连接,可独立在终端运行,也可挂在 Claude Code 或 Codex 之下。
微软宣布完成新一代 SOTA 基础模型 MAI-Base-2 的预训练,称其性能强于所有参测开源权重模型。该模型总参数 2.8T、活跃参数 80B,在 6,000 个 NVIDIA GB200 GPU 上训练 38 天,平均浮点算力利用率 21%、有效吞吐量 89%。预训练算力效率据称为 DeepSeek-V4-Pro-Base 的 4~12 倍。
科学家将盲文字母对应的电信号输入人脑类器官,单个约含 1 万个神经元的类器官识别准确率约 61%,三个类器官组成的"集合"达到 83%,研究发表于 Frontiers in Artificial Intelligence。该实验为开环设置,未证明类器官真正学会盲文,研究者称类器官系统在可靠性、可复现性和可扩展性上距成熟计算芯片仍有很大差距。
布里斯托大学团队在《Frontiers in Artificial Intelligence》发表研究,将盲文字母对应的电信号输入人脑类器官,单个约含1万个神经元的类器官分类准确率约61%,三个类器官组成的组合达到83%。
这则科普帖介绍了 DPO(直接偏好优化)作为 RLHF 的替代方案,它无需单独训练奖励模型,而是直接基于偏好数据优化策略。内容属于其机器学习系列的一部分。
NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言,含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token(按 Gemma-4 tokenizer 计)。
微软 10 月 15 日发布自研预训练基础模型 MAI-Base-2,其 AI 业务 CEO 穆斯塔法·苏莱曼在员工大会上称,该模型性能超过目前驱动 GPT-5.6 Sol 的模型(代号 Spud),训练算力只有 OpenAI 的四分之一。
谷歌 Google Antigravity 智能开发平台借助 ProtNLM 模型,从氨基酸序列直接预测生物功能,为大量 UniProt 未表征蛋白质添加高置信度功能标注。研究人员已通过该平台发现一种新型抗菌肽候选分子,预测其对呼吸道感染病原体具有活性,目前正进行湿实验室验证。平台内置 Biomolecular Structure Viewer,可将原本需数天的跨数据库筛选压缩为单次协作会话。