Attic-KV:用自我测验式排练替代全文重读的 KV 缓存压缩方法
论文提出 Attic-KV(Attic),一种免训练的 KV 缓存压缩方法,用引用上下文的问答对让模型自我测验,替代传统的全文重读式排练。
论文提出 Attic-KV(Attic),一种免训练的 KV 缓存压缩方法,用引用上下文的问答对让模型自我测验,替代传统的全文重读式排练。
一项系统综述与元分析发现,自动语言欺骗检测的汇总准确率为 74.4%(95% CI:71.2%-77.4%),与人工方法相当,暗示 70-75% 的准确率天花板。
小米 LLM-Core 团队发布 MiMo-V2.6 系列技术报告,这是一个全模态模型家族,通过扩展强化学习算力提升模型智能水平。
研究团队用 300 对带语义相似度标注的结局数据,开发出自动检测结局替换(outcome switching)的系统,结合提示词工程、基于 token 概率的分类和多数投票决策。在 2,496 个测试样本上取得 F1 0.78、准确率 0.90,优于基线文本相似度模型,但落后于微调版 BERT。团队还用 LLM 为分类实例生成自然语言解释并人工评估其质量。
字节级模型 BLT 按下一字节熵值决定 patch 起点,会系统性跳过"类型可预测但数值需计算"的位置,如数学解题中"="后的结果。在 Meta BLT-1B 上,10% 字节设 patch 起点时熵规则仅答对 19.0% 的计算结果,每个"="后设边界可达 51.8%,熵结合无标签的边界依赖信号达 67.1%。该差距在低秩微调后仍存在(32.9% vs 72.7%),并随模型规模扩大而增大。
针对跨会话个性化中独立上下文编译无法整合历史、循环更新会削弱早期证据的问题,研究者提出双路径参数化记忆 DPPM:Evidence 路径直接池化交互历史表示以保留早期证据,Delta 路径顺序更新关联状态以捕捉变化,融合后生成以历史为条件的 LoRA 适配器。在多个骨干模型上,DPPM 于 PersonaMem-v2 取得 54.22%、PrefEval 取得 86.79%,优于所评估的基线。
研究在 Omnilingual ASR wav2vec 2.0 + CTC 骨干上比较三种分词器:预训练多语言字符集、BPE 和基于 Pyphen 音节切分与 G2P 的音系学单元,共 40 次微调,在三个德语测试集上评估。
研究者推出 UXBench Pro,包含来自 12 个任务场景、82 个领域的 1000 个真实用户交互测试实例,每个实例配有刻画七种可解释行为特征的 FACTORS 用户画像。该基准提出双视角评估范式,结合个性化 User Reward Model(URM)与用户模拟器 Sim4Eval,并引入 URMBench 和 USimBench 两个元基准检验评估器还原真实人类偏好与行为的可靠性。
研究者提出 MH-INDIC,一个面向印度城市与半城市北印度语境的孕产妇健康交互文化评估框架,通过十维度孕产妇健康推理刻画文化行为,并基于 102 名孕产妇的 26 项调查评估了十款 LLM。
研究者提出 Elastic Expert Routing,从以 k 为中心的局部离散分布中随机采样激活专家预算,把传统 top-k 的刚性阈值软化为渐进概率分布,且采样邻域对称,训练算力开销与确定性训练相当、推理预算不变。
研究者提出"韵律到文本"任务,用仅保留 12 个最低 Mel 频段(约 450Hz 低通滤波)的语音微调 Whisper,从韵律模式中恢复原始句子,取得 WER 36% 的结果,10% 的语句被完全还原,40% 的语句 WER 不高于 25%。在给定正确前缀时,下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联比此前认为的更强,或可用于引导现代 LLM 的文本生成。
WebLoop 是一个执行闭环框架,在共享策略内联合学习生成、批判与修复三种角色,用互补信号训练免执行的 Critic 并引入后果感知信用分配。基于 Qwen3.5-9B,WebLoop 在 WebRise 上达到 41.5 Overall、在 WebGen-Bench 上达到 38.9% 准确率,分别较基座模型提升 11.3 和 15.4 分。
研究提出一种更简单的端到端语音解析架构,移除中间神经网络单元后参数减少 12%,在 ASR 和解析任务上性能与先前方法相当或更优。实验表明,中间 NN 单元在预训练编码器冻结时有助于缩小表示差距。研究在法语及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估,并考察了训练数据规模和预训练语音编码器中间层的影响。
研究者提出 Residual Advantage(RA),将教师-学生概率残差作为有界单步奖励,减去学生策略下的状态价值构成标准优势,并在每条回答内中心化后叠加到验证器优势上,使教师仅在回答内部重新分配各步骤的信用。
针对 LLM 推荐中异构行为被压平成同质 token 序列、难以处理"困难选择"场景的问题,研究者提出 MARI(Memory-Augmented Recommendation with Interpretability)。
SAIL 是一个 35B 总参数、3B 激活参数的开放模型,面向文献研究、科学编程和多步科研工作流。它通过科学感知的改进循环开发:由前沿 AI 模型驱动的智能体分析其任务失败并构建针对性训练任务,再经监督微调、专家训练、多教师 on-policy 蒸馏和智能体强化学习训练。SAIL 以远少于领先开放权重模型的参数在科研任务上取得有竞争力的表现。
BioBigBird 是一个在生物医学文献与临床数据上预训练的双向语言模型,采用稀疏注意力机制处理最长 4096 tokens 的序列,并通过多阶段训练降低大规模预训练语料噪声。该模型引入多任务学习框架联合优化命名实体识别与关系抽取,在 BLURB 基准上取得与 SOTA 模型高度接近的结果,模型已公开。
研究者提出面向僧伽罗语到英语神经机器翻译的无参考幻觉检测框架,构建了 45,000 条合成样本数据集,通过五种语言学驱动的概率式污染策略生成,并用字符级相似度的语义救援机制区分幻觉与形态变体。
SignRAG 是一个面向 decoder-only LLM 的无标注手语翻译统一框架,结合分层预训练、目标域检索增强与检索感知强化微调。在 CSL-Daily 上,它是首个在所有报告指标上超越有标注监督方法的无标注方法,并在多个 SLT 基准上取得 SOTA。代码与不同规模模型已在 GitHub 开源。
AdaptEvo 框架通过置信度自适应策略优化与不断进化的决策知识及评估标准,在规则不完善、参考判断质量参差的场景下学习。其 CA-GRPO 按参考置信度平衡结果与过程奖励,Evolution 模块从反复失败中提炼可复用决策知识并改进过程评估标准。
研究者提出 RECAL(Recovery-Aware Calibration),一种即插即用方法,通过在剪枝前调整校准过程来改善结构化剪枝模型的同策略蒸馏(OPD)恢复效果。
研究提出 Semi-OPD,用初始学生模型生成的离线 rollout 做蒸馏,在 1.5B 到 235B 参数的 17 组教师-学生配对中,14 组准确率超过 On-Policy 蒸馏(OPD),最高提升 13.6%,训练加速 11.4 倍。作者发现 OPD 仅在教师与学生高度对齐(输出 token 重叠率高)时才有优势,错配时学生 rollout 随上下文变长会越来越偏离教师,削弱蒸馏信号。
LadderEdit 通过压缩每次编辑获取的 LoRA adapter 来降低 LLM 终身编辑的存储开销:每个编辑先以低秩 sketch 存储,若在探测提示上仍满足重写、泛化与局部性契约则保留,否则沿阶梯提升秩直至满足。
研究提出 Local Prototype Reconstruction(LPR),一种仅训练时使用的轻量正则化方法,要求对齐后的桥接 token 可由冻结 LLM 的少量 token 嵌入邻域重建,并以硬单原型锚定为其极限情形。
研究测试了现成 System-One LLM 在少量或零学习者日志下做知识追踪的能力:Jev 在无目标平台数据时七个数据集平均 AUC 达 .706,高于 28 个用 8 名学习者训练的深度 KT 模型最佳值 .689,也高于 System-Two Thinking-KT 的 .650,API 成本约为其 1/100。
Lapras 是一个为时间序列语言模型(TSLM)赋予隐式推理能力的后训练框架,模型在时间序列-语言联合空间中进行连续思维推理,仅对最终答案输出文本。在四个 TSLM 主干、五个时间序列问答基准上,Lapras 相比显式 CoT 平均 F1 最高提升 10.79%,同时生成 token 减少 23.9 倍。其连续思维还可通过标准语言解码还原为可读的推理轨迹,保留文本解释能力。
一项分析 6,342 名临床医护人员在八个月内向机构助手发送的 127,833 条查询发现,文档与行政类占 36.2%、知识检索占 28.9%,诊断仅占 3.7%,超三分之一查询按原样无法得到良好回答。研究者用 RCQ-Map 框架比对 58 个公开基准(Clinical AI Benchmark Atlas),中位基准不含任何文档请求,任务构成与真实使用仅重合 31%。
FedAlphaEdit 是首个将本地编辑与服务器端合并规则统一在单一零空间原则下的协作知识编辑框架,解决了 AlphaEdit 与 CollabEdit 朴素结合时的结构性失效问题。客户端仅共享投影统计量,服务器在一次性理想化下可证明地恢复集中编辑全部事实的结果。在两种架构家族上,该方法将编辑成功率与知识保持同时提升至接近集中式编辑的水平,适用于医院、金融机构等无法共享原始编辑数据的场景。
AI4Fire 对 6 个核心模型在 5 项野火任务上做零样本评测,并对比"裸跑"与"有依据"两种设置,另扩展 29 个模型。加入只读 SQL 工具后,所有核心模型的数据库准确率从最高 16% 提升到至少 88%;但无核心模型能胜过直接重复当日人力配置这一简单规则,两个开放权重模型大多照抄历史火灾日的中位数。
针对稀疏注意力仅保留注意力矩阵中大数值或高权重区域的错误做法,研究者提出 Matrix Approximation Sparse Attention(MASA),用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减量。MASA 可作为即插即用修正项加入现有稀疏注意力框架,无需改动稀疏 kernel 或预算,在多种稀疏注意力方法、benchmark 和 LLM 主干上取得一致的准确率提升。
研究者将 TopK 稀疏自编码器与路由专属监督和跨因子对抗结合,在冻结的 SPEAR 和 WavLM 编码器上实现语言学与副语言学信息的分离:语言学信息在语言学路由中更强,说话人身份、情感、韵律等副语言学因素则保留在副语言学路由中并在语言学路由中大幅减少。
研究提出一种自编码器架构,沿时间轴对隐藏表示做残差降采样与升采样,并配以残差低维离散瓶颈,实现文本的压缩潜在表示。在 web 文本数据上,其压缩表示达到 2.24 bits per byte,与无损文本压缩算法相当,同时保持较好的重建与下游任务表现。研究还分析了不同量化方法、训练目标与数据集,并用 BLEU 和 LLM 评判评估重建文本的表面与语义相似度,另在问答和语义文本相似度基准上做了评测。
研究提出一套 LLM 辅助框架,以 WisDOT WisTMP 系统为应用场景自动生成交通管理计划(TMP)内容,通过将历史 WisTMP 文档的 PDF 转为 JSON 格式问答对构建领域数据集,并对多个不同规模的开源 LLM 进行微调后本地部署以保障数据安全。
研究者发布 Wieszcz-XIX,一个收录 1800 至 1918 年波兰语出版物、共 67.5 亿 token(约 31 亿词)、294,369 份文档的语料库,规模比同期标注语料大三个数量级以上,并已排除 1918 年后泄漏内容。
Diffu-LoRA 是一种参数高效的低秩适配方法,通过在 Transformer 块的线性层插入可训练低秩组件并为每个组件分配可学习门控,实现跨层非均匀的适配容量分配。
研究者提出 Wasserstein Procrustes 方法,仅通过估计单一正交映射,无需任何配对样本即可实现独立训练模型间的粗略跨模态对齐。在极少配对样本场景下,该方法显著优于现有方法,并能支持无配对样本的文本到图像生成。标准几何对齐指标可准确预测对齐何时可行。
MaRK 是一种动态算子条件化框架,可将上下文向量直接映射为冻结 SSM 循环参数 A、B、C、D、Δ 的有界调制,从而让每个扩散时间步重塑模型的输入输出记忆核。
研究在 CIFAR-10 上以 N∈{10,50,100,200} 对比 Ring、Static Random 与 LFHE 三种拓扑,发现固定本地数据集大小时,人口规模带来的性能惩罚会大幅减弱。
论文提出 WorkForge,一个从真实资源合成可验证工作智能体环境的框架,通过提取工作区可核查事实锚定任务类型与验证方式,构建了覆盖 40 个专业领域、60 种文件类型的 16.7K 个环境。后训练使 Qwen3.5-35B-A3B-Base 的 GDPVal 从 45.5 升至 73.6,APEX Score 从 5.0 升至 21.3。该论文因合著者未完成审阅已撤回。
一项 NeurIPS 2026 LP4FM 接收研究指出,相似度分数未必反映模型与大脑或跨语言共享的真实结构。跨 17 种语言测试中,语法性探针在 4 种语言上仅达随机水平,且距离越远迁移越差(r = -0.66);将 272 个语言对视为独立时转向效应 p = 0.0006,而以 17 种语言为单位时 p = 0.155。