跳到正文
10月9日周五
  1. arXiv cs.CL24

    用大语言模型检测临床试验中的 Spin

    研究团队用 300 对带语义相似度标注的结局数据,开发出自动检测结局替换(outcome switching)的系统,结合提示词工程、基于 token 概率的分类和多数投票决策。在 2,496 个测试样本上取得 F1 0.78、准确率 0.90,优于基线文本相似度模型,但落后于微调版 BERT。团队还用 LLM 为分类实例生成自然语言解释并人工评估其质量。

  2. arXiv cs.CL22

    BLT 的熵触发分块存在盲区:边界依赖信号能找回被跳过的计算结果

    字节级模型 BLT 按下一字节熵值决定 patch 起点,会系统性跳过"类型可预测但数值需计算"的位置,如数学解题中"="后的结果。在 Meta BLT-1B 上,10% 字节设 patch 起点时熵规则仅答对 19.0% 的计算结果,每个"="后设边界可达 51.8%,熵结合无标签的边界依赖信号达 67.1%。该差距在低秩微调后仍存在(32.9% vs 72.7%),并随模型规模扩大而增大。

  3. arXiv cs.CL23

    DPPM:面向个性化语言模型的双路径参数化记忆

    针对跨会话个性化中独立上下文编译无法整合历史、循环更新会削弱早期证据的问题,研究者提出双路径参数化记忆 DPPM:Evidence 路径直接池化交互历史表示以保留早期证据,Delta 路径顺序更新关联状态以捕捉变化,融合后生成以历史为条件的 LoRA 适配器。在多个骨干模型上,DPPM 于 PersonaMem-v2 取得 54.22%、PrefEval 取得 86.79%,优于所评估的基线。

  4. arXiv cs.CL24

    UXBench Pro:多轮对话交互中的个性化用户体验基准测试

    研究者推出 UXBench Pro,包含来自 12 个任务场景、82 个领域的 1000 个真实用户交互测试实例,每个实例配有刻画七种可解释行为特征的 FACTORS 用户画像。该基准提出双视角评估范式,结合个性化 User Reward Model(URM)与用户模拟器 Sim4Eval,并引入 URMBench 和 USimBench 两个元基准检验评估器还原真实人类偏好与行为的可靠性。

  5. arXiv cs.CL25

    Prosody-to-Text:从低通滤波语音预测文本

    研究者提出"韵律到文本"任务,用仅保留 12 个最低 Mel 频段(约 450Hz 低通滤波)的语音微调 Whisper,从韵律模式中恢复原始句子,取得 WER 36% 的结果,10% 的语句被完全还原,40% 的语句 WER 不高于 25%。在给定正确前缀时,下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联比此前认为的更强,或可用于引导现代 LLM 的文本生成。

  6. arXiv cs.CL17

    何时可以剪枝你的网络?多语言语音解析中中间神经元的研究

    研究提出一种更简单的端到端语音解析架构,移除中间神经网络单元后参数减少 12%,在 ASR 和解析任务上性能与先前方法相当或更优。实验表明,中间 NN 单元在预训练编码器冻结时有助于缩小表示差距。研究在法语及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估,并考察了训练数据规模和预训练语音编码器中间层的影响。

  7. arXiv cs.CL34

    SAIL:面向科研的智能体模型,35B 总参数 3B 激活

    SAIL 是一个 35B 总参数、3B 激活参数的开放模型,面向文献研究、科学编程和多步科研工作流。它通过科学感知的改进循环开发:由前沿 AI 模型驱动的智能体分析其任务失败并构建针对性训练任务,再经监督微调、专家训练、多教师 on-policy 蒸馏和智能体强化学习训练。SAIL 以远少于领先开放权重模型的参数在科研任务上取得有竞争力的表现。

  8. arXiv cs.CL22

    BioBigBird:面向生物医学文本长程依赖处理的稀疏注意力模型

    BioBigBird 是一个在生物医学文献与临床数据上预训练的双向语言模型,采用稀疏注意力机制处理最长 4096 tokens 的序列,并通过多阶段训练降低大规模预训练语料噪声。该模型引入多任务学习框架联合优化命名实体识别与关系抽取,在 BLURB 基准上取得与 SOTA 模型高度接近的结果,模型已公开。

  9. arXiv cs.CL24

    何时需要 On-Policy 蒸馏?用离线学生 rollout 蒸馏往往更好

    研究提出 Semi-OPD,用初始学生模型生成的离线 rollout 做蒸馏,在 1.5B 到 235B 参数的 17 组教师-学生配对中,14 组准确率超过 On-Policy 蒸馏(OPD),最高提升 13.6%,训练加速 11.4 倍。作者发现 OPD 仅在教师与学生高度对齐(输出 token 重叠率高)时才有优势,错配时学生 rollout 随上下文变长会越来越偏离教师,削弱蒸馏信号。

  10. arXiv cs.CL27

    Lapras:面向时间序列语言模型的隐式推理后训练框架

    Lapras 是一个为时间序列语言模型(TSLM)赋予隐式推理能力的后训练框架,模型在时间序列-语言联合空间中进行连续思维推理,仅对最终答案输出文本。在四个 TSLM 主干、五个时间序列问答基准上,Lapras 相比显式 CoT 平均 F1 最高提升 10.79%,同时生成 token 减少 23.9 倍。其连续思维还可通过标准语言解码还原为可读的推理轨迹,保留文本解释能力。

  11. arXiv cs.CL49

    临床医生使用语言模型的方式与模型评测方式存在分歧

    一项分析 6,342 名临床医护人员在八个月内向机构助手发送的 127,833 条查询发现,文档与行政类占 36.2%、知识检索占 28.9%,诊断仅占 3.7%,超三分之一查询按原样无法得到良好回答。研究者用 RCQ-Map 框架比对 58 个公开基准(Clinical AI Benchmark Atlas),中位基准不含任何文档请求,任务构成与真实使用仅重合 31%。

  12. arXiv cs.CL24

    FedAlphaEdit:面向协作知识编辑的零空间对齐合并方法

    FedAlphaEdit 是首个将本地编辑与服务器端合并规则统一在单一零空间原则下的协作知识编辑框架,解决了 AlphaEdit 与 CollabEdit 朴素结合时的结构性失效问题。客户端仅共享投影统计量,服务器在一次性理想化下可证明地恢复集中编辑全部事实的结果。在两种架构家族上,该方法将编辑成功率与知识保持同时提升至接近集中式编辑的水平,适用于医院、金融机构等无法共享原始编辑数据的场景。

  13. arXiv cs.CL24

    AI4Fire:大语言模型在野火任务上的评测

    AI4Fire 对 6 个核心模型在 5 项野火任务上做零样本评测,并对比"裸跑"与"有依据"两种设置,另扩展 29 个模型。加入只读 SQL 工具后,所有核心模型的数据库准确率从最高 16% 提升到至少 88%;但无核心模型能胜过直接重复当日人力配置这一简单规则,两个开放权重模型大多照抄历史火灾日的中位数。

  14. arXiv cs.CL22

    稀疏注意力是矩阵近似,而非从一堆数值中挑选

    针对稀疏注意力仅保留注意力矩阵中大数值或高权重区域的错误做法,研究者提出 Matrix Approximation Sparse Attention(MASA),用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减量。MASA 可作为即插即用修正项加入现有稀疏注意力框架,无需改动稀疏 kernel 或预算,在多种稀疏注意力方法、benchmark 和 LLM 主干上取得一致的准确率提升。

  15. arXiv cs.CL24

    有损压缩文本自编码器:Lossy Compressive Text Autoencoders

    研究提出一种自编码器架构,沿时间轴对隐藏表示做残差降采样与升采样,并配以残差低维离散瓶颈,实现文本的压缩潜在表示。在 web 文本数据上,其压缩表示达到 2.24 bits per byte,与无损文本压缩算法相当,同时保持较好的重建与下游任务表现。研究还分析了不同量化方法、训练目标与数据集,并用 BLEU 和 LLM 评判评估重建文本的表面与语义相似度,另在问答和语义文本相似度基准上做了评测。

  16. arXiv cs.AI17

    WorkForge:为长周期工作智能体扩展可验证环境

    论文提出 WorkForge,一个从真实资源合成可验证工作智能体环境的框架,通过提取工作区可核查事实锚定任务类型与验证方式,构建了覆盖 40 个专业领域、60 种文件类型的 16.7K 个环境。后训练使 Qwen3.5-35B-A3B-Base 的 GDPVal 从 45.5 升至 73.6,APEX Score 从 5.0 升至 21.3。该论文因合著者未完成审阅已撤回。

  17. arXiv cs.AI23

    相似度分数不等于结构:大脑对齐与跨语言迁移的可靠性问题

    一项 NeurIPS 2026 LP4FM 接收研究指出,相似度分数未必反映模型与大脑或跨语言共享的真实结构。跨 17 种语言测试中,语法性探针在 4 种语言上仅达随机水平,且距离越远迁移越差(r = -0.66);将 272 个语言对视为独立时转向效应 p = 0.0006,而以 17 种语言为单位时 p = 0.155。