跳到正文
10月12日周一
  1. arXiv cs.CL24

    面向 LLM 预训练数据的 Host-Aware 网页抓取策略研究

    研究发现,文档质量分类器得分约一半的差异来自不同 host 之间,且同一 host 少量页面即可预估其余页面质量。模拟显示,用中心性指标选择抓取哪些 host 相比随机排序收益有限,而先采样少量页面再对高分 host 加深抓取,每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。

  2. arXiv cs.CL22

    SharP:用软硬提示引导 LLM 增强的低资源假新闻检测

    针对低资源假新闻检测中标注数据稀缺的问题,研究者提出 SharP——一个由软提示与硬提示共同引导的边界感知文本生成框架,利用 LLM 生成任务相关的合成样本。其中硬提示提供结构化指导与事实约束,软提示引入从数据中学到的语义模式,并配合边界感知策略让生成偏向分类器置信度较低的区域。该工作采用双目标优化平衡语义对齐与分类器反馈,论文共 28 页、7 图、8 表,代码已公开。

  3. arXiv cs.CL39

    TerminalHorizon:为长时程终端智能体扩展智能体数据

    研究团队推出 TerminalHorizon,一个面向长时程终端智能体的全自动数据合成引擎,通过独立执行识别构建过程中被省略的关键工作,并据此重建环境。基于该引擎构建了 1.5K 任务环境,对 Qwen3.5-27B 进行监督微调得到 TerminalHorizon-27B,在覆盖编码智能体、真实生产环境智能体任务和通用推理的 12 个基准上均取得显著提升。

  4. arXiv cs.CL22

    从 210 万小时广播音频到芬兰语语音 SSL:置信度过滤与大规模架构分析

    研究团队从 210 万小时无约束广播音频出发,提出以 ASR 置信度作为预训练数据质量代理,相比基于 LID 的过滤在训练集更小的情况下取得 3-7% 的相对 WER 提升。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构,模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。

  5. arXiv cs.CL31

    通过长尾表现评估 LLM 创造力

    研究提出以参考输入输出分布长尾中的任务特定表现来形式化 LLM 创造力,并用预训练数据中 n-gram 缺失作为新颖性代理,在 15 个基准和 26 个开源权重模型上验证。结果显示创造力基准比标准基准更靠近尾部区域,且各基准更高尾部子集给出的模型排名与 LM-Arena 中人类创造力判断更一致。研究据此提出低成本诊断指标 q@Tail(α),测量现有基准尾部区间的平均任务质量。

  6. arXiv cs.CL22

    CIG-SFT:面向可泛化后训练的条件信息增益方法

    研究者提出 CIG-SFT,一种信息论框架,通过对比冻结参考模型在有/无任务输入时的 token 似然,估计每个示范 token 携带的任务条件信息增益,并将其转化为 KL 正则化的策略投影,导出等价的标量加权 SFT 目标。在数学推理与代码生成基准上,CIG-SFT 持续优于标准 SFT 和近期自适应微调基线,在困难评测分布上的泛化提升尤为明显,且无需额外训练数据或在线 rollout。

  7. arXiv cs.CL15

    掩码文本重建中的语料采样分歧预测

    研究提出一种基于邻近 token 对计数的平滑预测器,可在不接触目标语料的情况下,从独立参考语料预测两份同源语料训练出的预测器之间的期望分歧。在 TinyStories、WikiText-103 和 CNN/DailyMail 上,语料从 512 增至 2,048 个 64-token 块,分歧仅下降 5–40%,远低于 1/n 缩放暗示的 75%。

  8. arXiv cs.CL22

    通过激活波分析 LLM 隐藏状态的信息与几何特性以改进投机解码

    研究者提出一套基于信息量与多样性双准则的多层隐藏状态选择框架,用于投机解码。该方法通过矩阵熵衡量信息量、用 CKA 量化多样性,并引入 token-entropy filtering 剔除低预测熵 token 对应的隐藏状态。在 EAGLE3 风格的投机解码中,所选层组合优于包括默认 [2, N//2, N-3] 规则在内的固定基线。

  9. arXiv cs.CL25

    T-Mem:面向长程多方对话记忆的时间证据森林框架

    针对 LLM 智能体长期多方交互中时间结构难以利用的问题,研究者提出 T-Mem 记忆框架,通过时间证据发现与时间记忆结构化两项机制恢复局部密集证据并重建事件演进,再经证据森林线性化生成答案。在两个长期多方记忆基准上,T-Mem 在不同 LLM、参数设置、领域和查询类型下均持续优于现有竞争性记忆框架。

  10. arXiv cs.CL27

    MADS:面向鲁棒对话智能体的多智能体对话模拟

    研究团队提出 MADS(Multi-Agent Dialog Simulation)合成数据生成管线,可注入对抗性对话,生成结构化、多样化的对话轨迹,用于训练更鲁棒的对话智能体。基于该管线构建的 MADS-Bench 覆盖 6 个领域、55 种人物设定和 1095 段对话,其中约 66% 包含易失败场景。团队采用 SFT 与 RLVR 两阶段训练评估模型鲁棒性。

  11. arXiv cs.CL37

    无监督多模态奖励建模:冻结 Qwen3-VL 中间层实现无标注偏好训练

    研究提出一种无需人类偏好标注的多模态奖励模型:在冻结的 Qwen3-VL 主干中间层上训练线性头,让网络标题得分高于同一标题的扰动版本,标注数据仅用于选层。该中间层选择比最后一层高 5.8 分,32B 规模下在三个基准上追平或超过 GPT-4o,VL-RewardBench 领先 6.6 分,仅需数千参数和约千分之一微调算力。

  12. arXiv cs.CL22

    AXLE:用任务本身激活标注者的生活经验

    研究者提出 AXLE,一个预标注阶段:用场景小故事引导一段轴导向对话,合成第一人称微叙事后在标注前返回给标注者。在针对移民、宗教与性别议题的模糊仇恨言论 2x2 被试间实验中(104 名标注者、30 个条目、1,040 条标注),该阶段带来更高的身份共鸣与伤害敏感度,同时提高标签熵、降低标注者间一致性,显示其呈现多元而非制造共识。

  13. arXiv cs.CL20

    GeoFitBench-LLM:评估大语言模型地理空间数据需求获取能力的基准

    GeoFitBench-LLM 基准用于评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件,围绕时空关系与语义锚定两个推理维度构建,真值需求以固定且不依赖提供商的 schema 编码。在最小提示下测试七个模型,GPT-5.4 Thinking 表现最佳,在 66.67% 的请求中完整识别出全部资源;随着推理需求增加,准确的适用性规格说明仍更困难。

  14. arXiv cs.CL22

    perturber:面向语义保持文本扰动的无状态服务

    perturber 是一个无状态服务和 Python 库,每次调用只施加一个语义保持扰动,来自覆盖 11 个家族的 68 个扰动的一手目录。它基于单一原语,组合交由调用方链式调用,因此服务与库的输出天然一致。该工作评估工具本身的正确性、可复现性与成本,并逐扰动测量语义保持性,而非假设其成立。

  15. arXiv cs.CL24

    GeopoliticalQA:面向情报报告的检索与生成基准

    研究者发布 GeopoliticalQA 基准,覆盖 415 份开源地缘政治与战略情报报告、5,525 条文档锚定问答对,涵盖事实、推断、比较和风险四类问题。评测 15 个检索系统和 6 个开放权重 LLM 后发现,文档级检索表现相近,但在更难的 chunk 级检索上,中等规模开源编码器 bge-m3 可匹敌大其一个数量级的模型并优于商业 embedding API。

  16. arXiv cs.CL24

    语言模型的自保能力:用生成式回放选择保留目标

    研究将任务描述与示例组织为 Task Banks,用 Qwen 系列不同规模模型做持续指令微调,发现新任务与学习率决定哪些旧能力退化,跟踪此前答对的样本能揭示平均准确率掩盖的损失。生成式回放可减少 bank 外任务的遗忘,组合部分 bank 能提升此前正确答案的平均保留率;在 4B 模型上,由新任务引导的目标选择优于随机选择,但更小模型无此优势。

  17. RadarAI40

    丘成桐数学与人工智能实验室联盟在清华大学成立

    丘成桐数学与人工智能实验室联盟在清华大学成立,将攻关数学科学专用大模型研发、AI 辅助数学形式化证明与猜想发现、可解释人工智能等领域。联盟发布 10 余项“AI+数学”重点成果和研究方向,已集结超 1000 位数学家和科研工作者,联合清华求真书院、丘成桐数学科学中心、北京雁栖湖应用数学研究院等多家机构,探索中国自己的数学大模型建设路径。

  18. GitHub20

    ReliableShrimp 的 ShupoShupo-Teaching 自学仓库宣布停止更新

    作者宣布停止维护自学项目 ShupoShupo-Teaching,原因是进入大学后学习节奏明显放缓,不愿拖长进度而选择退出。该仓库聚焦 AI Engineering、ML Engineering、Graph ML 与 Geometric ML,分为记录原始过程的 /unpolished 和可供学习的 /polished 两部分,路线图原计划 12 个月,缺失主题将留待后续补充。