语言模型能否选择性依赖外部指导?Box²-Bench 基准发布
研究者提出 Box²-Bench,在固定模型与任务的前提下改变工作流可靠性,以隔离模型对指导的依赖调节能力,并将这种"从有用指导中获益、同时覆盖不可靠指导"的能力称为 thinking outside the box。
研究者提出 Box²-Bench,在固定模型与任务的前提下改变工作流可靠性,以隔离模型对指导的依赖调节能力,并将这种"从有用指导中获益、同时覆盖不可靠指导"的能力称为 thinking outside the box。
针对约鲁巴语轮廓声调在正字法中难以标注、部分人名拼写甚至反转原意的问题,该论文提出采用 caron 和 circumflex 符号在单元音上编码升调和降调。这些符号自 Olmsted(1951)以来在约鲁巴语音系研究中已有先例,如今首次可通过标准键盘输入和计算文本处理实现。方案已在 WriteYoruba 键盘和 TTSYoruba 语音合成器中落地实现。
CompOrca 为 OpenOrca 语料全部 4,233,923 条样本提供合规标签,由开源权重模型 LongCat-2.0(1.6T 参数)进行五轮判定,并划分为一致合规(94.75%)、一致不合规(1.28%)与非一致行(3.97%)。
Opera 是一个语言化评论框架,把每次纠正当作持续跟踪的笔记,直到被诊断的问题真正解决,通过周期性及事件触发决定何时审查、用类型化算子诊断问题、在交付前对照可见证据审核反馈,并追踪智能体后续动作以区分表面服从与真正解决。
针对 PlurVA-LLM 2026 共享任务 Track-1 的中国、印尼、斯里兰卡多元价值对齐,该系统用 4-bit QLoRA 微调 Llama 3.1 8B Instruct,并结合选项置换增强、标注者投票扩展与 SinhalaMMLU 增强及条件阈值校准。最终准确率为中国 0.785、印尼 0.715、斯里兰卡 0.916,整体宏平均 0.805。
ELF-REG 将 Embedded Language Flows(ELF)扩展到 GSM8K、MATH-500、HumanEval 和 MBPP 上的数学推理与代码生成,通过 REPA+REG 让冻结的 AR 教师模型监督中间去噪特征。
中国联通提出本体驱动的 UniDataAgent,将语义获取与在线执行分离,用于可复用的企业问报到分析。其本体构建在 27 张企业表、约数千种指标类型上仅需数小时,而人工约需一周;报告生成只需几分钟,而非数个工作日。本体 grounding 在真实业务问题上取得 95.0% 严格准确率,高于文档 RAG 的 72.5%,系统已部署并带来成本节省。
研究提出 Persona Mixture Models(PMMs),用特定人物的短对话样本将 LLM 绑定到人格,比指令微调模型的角色扮演预测更准确,并保留更多人类对话中的词汇、语义和语用多样性。PMMs 目前以预训练基础模型实现,但可能产生域外对话并在长上下文中丢失人物内部状态。为此提出的串联模型将预训练模型与指令微调监督器结合,在实验中取得最佳整体准确率与多样性。
研究考察嵌入空间是否反映质量、距离、时间和体积等物理测量,发现物理测量在嵌入空间中仅被弱建模,反而呈现相当奇特的度量模式。进一步分析表明,物理测量的嵌入表示强烈受表面字符串相似性影响,重新校准相似度也无法显著改善对齐。
研究者提出 CONDOR(Coupled-Noise Distillation for One-Step Readout),通过将不同噪声样本映射到不同连贯 token 块,让扩散语言模型一次前向传播即可生成连贯块。
针对波斯语等低资源语言医疗问答研究不足,论文提出 Gaokerena 系列紧凑型波斯语医疗语言模型,可在消费级硬件部署。
SERL-SQL 是一个面向多轮 Text-to-SQL 智能体的选择性执行反馈强化学习框架,通过训练专用教师模型结合执行反馈重打分学生动作,将师生似然差转化为有界掩码权重,仅对 SQL 与工具动作 token 重加权 GRPO 优势。
研究在固定算力预算下考察了 Transformer 视觉语言模型的最优模型规模与 token 数量,发现最小目标损失遵循可预测的算力定律,而算力最优的模型规模与 token 数呈幂律缩放。
研究用规则化单调性标注器为 ChaosNLI 中 SNLI 和 MNLI 条目(每条 100 位标注者)打标,检验否定、量化、单调性等形式语义结构是否影响标注者分歧。组级上非纯向上单调的假设分歧略多,但该差异对标注器误差敏感;条目级上形式结构仅解释几个百分点的变异,无法识别高分歧条目。VariErr 与 LiTEx 记录的分歧类型在形式边界上无可检测差异,形式结构只是权重有限的分歧来源之一。
EvoRubric 是一个协同进化 RL 框架,通过标准有效性反馈、响应区分度和同伴一致性学习开放式生成的评分标准,共享策略同时充当 Reasoner 与 Rubric Generator,冻结的初始策略副本作为 Meta-Verifier。
研究者提出不确定性感知预算分配(UAB),一种凹整数优化框架,用初始采样得到的投票熵作为难度信号,将固定采样预算重新分配。在五个开源模型(1.5B–27B 参数)和五个推理基准上,UAB 相比均匀分配平均准确率提升 +2.3%,单项基准最高提升 +5.5%,低资源场景收益最大,且无需辅助模型或额外 LLM 调用。
多模态大模型文档理解评测 CiteVQA 发布,要求模型在给出答案的同时返回元素级 bounding-box 引用,并以 Strict Attributed Accuracy(SAA)联合评估二者。
首个跨多语言(含低资源语言)比较三类预训练语言模型拼写纠错效果的实证研究显示,仅 270M 参数的 Gemma 3 和 mBART50 在 5k 句数据上微调后,即可超越基于规则的纠错器。研究还以僧伽罗语为案例,揭示低资源语言拼写纠错的困境。
Fair-GPTQ 是首个在量化目标中显式加入群体公平性约束的量化方法,通过引导舍入操作学习减少受保护群体的偏见生成,聚焦职业偏见及性别、种族、宗教歧视语言。该方法在零样本基准上保留至少 90% 基线准确率,相比半精度模型降低不公平性,同时保持 4-bit 量化的内存与速度优势。该工作已被 TACL 接收。
针对深度扩展中复制或平均基座层导致神经元排列错位、损害性能的问题,研究者提出 OT-DUS,利用最优传输理论在相邻基座层间逐模块对齐并融合功能对应的神经元来构建新层。在持续预训练和有监督微调下,该方法在不同模型规模和模型族上于通用与专业领域均优于现有方法。分析还发现,在更高位置插入新层不仅性能更强,训练效率也更高。
研究者提出 WOVEN,一个面向视觉转换推理的训练数据源与基准,按场景、动作和推理类型组织监督信号,包含 36,076 个样本、20 种场景类型、5 种动作类型和 8 种推理类型。
研究者提出 LLM-BlockFE,一个 LLM 引导的离线特征构建框架,将长文本转为可执行特征程序,从而避免在线推理时调用 LLM。该方法通过增量追加不可变代码块构建特征程序,并引入基于深度校准信用分配的块级回滚机制、交错推进多条独立搜索轨迹。
研究提出 SimIF-Bench 基准,评估对话模型能否在既定场景内按顺序完成多项目标,结果显示当前开源全双工模型难以遵循此类约束。团队进一步提出基于 GDPO 的训练方案,使全双工模型在保持轮次切换能力的同时遵循对话中的文本指令,所得模型 SteerablePlex 接入异步后端语言模型后,构建出比现有开源模型和 GPT-Realtime 更可靠遵循多阶段约束的可控用户模拟器。
Project Greenhouse 探索仅用少量 GPU 从零预训练加监督微调,构建完全开放、自主可控的智能体搜索模型,不依赖第三方开源权重骨干。团队发布 Gaggle 系列模型 checkpoint 及数据、代码与配置,支持训练全流程的透明独立复现。
针对提示词优化在顺序任务适配中会出现灾难性遗忘的问题,研究者提出 Evolving Functional REpertoires(EFRE),用随新任务演化的功能库替代单一提示词:兼容更新细化已有功能,冲突更新则催生新功能。
研究揭示 On-Policy Distillation(OPD)失败机制:在代码生成和数学推理任务中,使用更大规模教师的 OPD 出现早期损失平台,200 次更新后平均最终损失仅下降 25.1%,而自 RL 教师则下降 96.2%。
研究者提出 MiniVer-V 短视频事实核查基准,包含 195 条短视频、三分类判定标注(supported、refuted、insufficient)和 5,510 个多模态证据单元,覆盖视觉关键帧、语音转写和网络检索外部来源。
研究者将扩散模型、自回归(AR)模型及其中间形态统一描述为同一"损坏格"上的路径,并定义调度成本为并行步骤所丢弃的依赖关系。对于图上马尔可夫数据,零成本调度的最少步数等于图的 treedepth,该值随序列长度呈对数增长、随网格边长呈线性增长。在文本、图像和视频生成任务中,基于预训练权重估计的成对依赖核可在解码前预测不同调度的成本排名,且大部分预测得到验证。
RAM-Net 被证明可在离散地址空间上通过软分配桥接 KV-cache 量化与线性注意力,其软地址分配将硬量化匹配扩展为可分离读写重叠,局部近似全注意力相似度并支持循环聚合。
研究提出 ModeBench 基准,其验证器同时返回正确性与所发现的解法模式,并用它测量 RLVR 后训练中解法多样性的变化:RLVR 会把概率集中到更少的正确模式上,即使准确率持平或提升,前沿模型也已高度集中。为此提出 Re:Max,将每种已发现模式的一个验证样例存入 replay buffer 并均匀训练,在三种模型规模、两种 RL 目标和更难任务上同时提升了成功率与解法多样性。
研究用语言模型离线评估电商搜索页面布局决策,即是否在特定位置插入次级商品堆栈。对比直接提示词评判、提示词衍生特征和表征三种方法,表征方法在预测用户参与度上持续优于提示词评判,可作为电商搜索离线布局评估的可靠基础。该工作已被 ACM RecSys 2026 的 OARS Workshop 接收。
研究者提出对话语音美学模型 CVAM,一个用于描述真实或合成语音回复美学特征的语音大语言模型,可预测涵盖性别、音高、节奏、情感与表达方式的九类属性。团队从 CANDOR 语料库收集 3k 条真实与合成回复、每条约 10 份人类标注,先监督微调再用 Group Relative Policy Optimization 基于人类判断优化。
研究提出 LoopOPD 跨循环在线策略蒸馏框架,用 LoopLM 内部冻结的终端循环策略作为中间循环学生的"计算特权教师",在自生成 rollout 上提供稠密监督,无需外部教师或特权信息。
研究者提出 Latent Core Tokenizer(LCT),一种语言无关的分词方法,将结构发现与词表构建分离,先用最小描述长度、基于熵的边界信号和形态句法约束识别可复用语言单元,再构建共享词表。
SGUID 是一种为蒸馏筛选紧凑技能子集的方法,只保留训练中持续产生有效学习信号的技能。在 Olmo 和 Qwen 系列的四个模型上,蒸馏 6 个精选技能在四个模型中的三个上平均 avg@12 追平或超过全库蒸馏,第二轮再选 3 个新技能后四个模型全部达标,而全库规模最多大 11 倍。
研究者提出 VFold,一种对称感知的 value cache 合并策略,可在解码时降低 KV cache 内存占用,且无需改动 LLM 架构、不带来明显性能损失。该方法还能与高比例量化或 key cache 剪枝等现有压缩技术叠加,达到单一方法无法实现的压缩比,额外开销极小。
HarnessSQL 是一个 harness 原生后训练框架,在监督微调与强化学习中保留完整多轮交互结构,让模型直接在目标 SQL harness 内训练。
EgoVoice 是一个训练与评估主动式第一人称语音助手的框架,让模型在连续第一人称视频与音频流中自行决定何时保持沉默、何时给出语音指导。研究基于 HoloAssist 真人教学录像,通过音源分离与语音重合成构建干净音频流,并用直接偏好优化改进全模态 LLM 的主动干预行为。
研究将语言模型用作 Research World Models(RWM),预测候选实验干预在研究环境中的结果,评估基于 9 个研究环境、超 2600 条实验记录和逾 171,000 H100 GPU-hours 的实验数据。
SciTBERT 是一系列基于 BERT 的时间一致性语言模型,训练数据来自科学论文、专利和高质量教育网页文本,数据截止日期覆盖 2013 至 2025 每年。