面向 LLM 预训练数据的 Host-Aware 网页抓取策略研究
研究发现,文档质量分类器得分约一半的差异来自不同 host 之间,且同一 host 少量页面即可预估其余页面质量。模拟显示,用中心性指标选择抓取哪些 host 相比随机排序收益有限,而先采样少量页面再对高分 host 加深抓取,每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。
研究发现,文档质量分类器得分约一半的差异来自不同 host 之间,且同一 host 少量页面即可预估其余页面质量。模拟显示,用中心性指标选择抓取哪些 host 相比随机排序收益有限,而先采样少量页面再对高分 host 加深抓取,每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。
针对低资源假新闻检测中标注数据稀缺的问题,研究者提出 SharP——一个由软提示与硬提示共同引导的边界感知文本生成框架,利用 LLM 生成任务相关的合成样本。其中硬提示提供结构化指导与事实约束,软提示引入从数据中学到的语义模式,并配合边界感知策略让生成偏向分类器置信度较低的区域。该工作采用双目标优化平衡语义对齐与分类器反馈,论文共 28 页、7 图、8 表,代码已公开。
研究团队推出 TerminalHorizon,一个面向长时程终端智能体的全自动数据合成引擎,通过独立执行识别构建过程中被省略的关键工作,并据此重建环境。基于该引擎构建了 1.5K 任务环境,对 Qwen3.5-27B 进行监督微调得到 TerminalHorizon-27B,在覆盖编码智能体、真实生产环境智能体任务和通用推理的 12 个基准上均取得显著提升。
Neurograf v1 是一套端到端罗马尼亚语优先语言模型流水线,包含 635 GB 的 RoSfera 语料(1.757 亿篇文档)、80k byte-level BPE tokenizer、160M 至 6B 五个 decoder-only 模型(训练 131B tokens)、三个指令微调助手和两个对比学习嵌入模型。
研究团队发布 BenCoDiC,一个面向孟加拉语政治新闻话语的公开语境化网络欺凌语料库,包含从 100 个 YouTube 视频及其讨论中采集的 50,250 条文本实例,并保留字幕—评论—回复关系。
研究团队从 210 万小时无约束广播音频出发,提出以 ASR 置信度作为预训练数据质量代理,相比基于 LID 的过滤在训练集更小的情况下取得 3-7% 的相对 WER 提升。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构,模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。
Evo² 提出权重-框架协同进化框架,让单一策略同时充当 Proposer 与 Reflector,并通过 EvoTIDE 训练流程结合 SFT 与交错 GRPO 完成训练。
研究提出以参考输入输出分布长尾中的任务特定表现来形式化 LLM 创造力,并用预训练数据中 n-gram 缺失作为新颖性代理,在 15 个基准和 26 个开源权重模型上验证。结果显示创造力基准比标准基准更靠近尾部区域,且各基准更高尾部子集给出的模型排名与 LM-Arena 中人类创造力判断更一致。研究据此提出低成本诊断指标 q@Tail(α),测量现有基准尾部区间的平均任务质量。
研究者提出 CIG-SFT,一种信息论框架,通过对比冻结参考模型在有/无任务输入时的 token 似然,估计每个示范 token 携带的任务条件信息增益,并将其转化为 KL 正则化的策略投影,导出等价的标量加权 SFT 目标。在数学推理与代码生成基准上,CIG-SFT 持续优于标准 SFT 和近期自适应微调基线,在困难评测分布上的泛化提升尤为明显,且无需额外训练数据或在线 rollout。
研究提出一种基于邻近 token 对计数的平滑预测器,可在不接触目标语料的情况下,从独立参考语料预测两份同源语料训练出的预测器之间的期望分歧。在 TinyStories、WikiText-103 和 CNN/DailyMail 上,语料从 512 增至 2,048 个 64-token 块,分歧仅下降 5–40%,远低于 1/n 缩放暗示的 75%。
研究者提出一套基于信息量与多样性双准则的多层隐藏状态选择框架,用于投机解码。该方法通过矩阵熵衡量信息量、用 CKA 量化多样性,并引入 token-entropy filtering 剔除低预测熵 token 对应的隐藏状态。在 EAGLE3 风格的投机解码中,所选层组合优于包括默认 [2, N//2, N-3] 规则在内的固定基线。
针对 LLM 智能体长期多方交互中时间结构难以利用的问题,研究者提出 T-Mem 记忆框架,通过时间证据发现与时间记忆结构化两项机制恢复局部密集证据并重建事件演进,再经证据森林线性化生成答案。在两个长期多方记忆基准上,T-Mem 在不同 LLM、参数设置、领域和查询类型下均持续优于现有竞争性记忆框架。
一项试点研究提出以不可靠叙述者理论为框架,用开放权重模型为澳大利亚和美国讽刺新闻生成解释,作为前沿模型之外可行且低成本的替代方案。研究发现模型对美国来源的讽刺修辞识别比澳大利亚来源更准确。该工作产出了一个新数据集和讽刺解释评测基准。
研究测试了 GoEmotions、XED 和 BRIGHTER 共享的五个情绪标签,发现同一批文本上,一个 fear 分类器将 71% 标为恐惧,另一个仅 8%,但两者对文本排序基本一致。
研究提出 COFFEQA,一种用反事实样本引导 LLM 少样本蒸馏的策略,通过让教师模型改变答案的最小修改上下文,为困难事实样本提供额外监督。作者还提出 Context Following Difficulty(CFD)指标,在蒸馏前验证反事实样本。
研究团队将 GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 等六款实时语音系统置于 176 段无脚本对话的 427 个停顿点和 482 个话轮结束处,评估其"是否开口、何时开口"的对话决策。
研究团队提出 MADS(Multi-Agent Dialog Simulation)合成数据生成管线,可注入对抗性对话,生成结构化、多样化的对话轨迹,用于训练更鲁棒的对话智能体。基于该管线构建的 MADS-Bench 覆盖 6 个领域、55 种人物设定和 1095 段对话,其中约 66% 包含易失败场景。团队采用 SFT 与 RLVR 两阶段训练评估模型鲁棒性。
U4RASD 团队在 KnowledgeGraphEval 2026 Subtask 2 阿拉伯语有向关系抽取任务中,以 Yehia-RE、Qwen-RE 与 TypedPair 的集成系统取得 94.06 micro-F1,排名第一。
研究提出一种无需人类偏好标注的多模态奖励模型:在冻结的 Qwen3-VL 主干中间层上训练线性头,让网络标题得分高于同一标题的扰动版本,标注数据仅用于选层。该中间层选择比最后一层高 5.8 分,32B 规模下在三个基准上追平或超过 GPT-4o,VL-RewardBench 领先 6.6 分,仅需数千参数和约千分之一微调算力。
研究者提出 AXLE,一个预标注阶段:用场景小故事引导一段轴导向对话,合成第一人称微叙事后在标注前返回给标注者。在针对移民、宗教与性别议题的模糊仇恨言论 2x2 被试间实验中(104 名标注者、30 个条目、1,040 条标注),该阶段带来更高的身份共鸣与伤害敏感度,同时提高标签熵、降低标注者间一致性,显示其呈现多元而非制造共识。
GeoFitBench-LLM 基准用于评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件,围绕时空关系与语义锚定两个推理维度构建,真值需求以固定且不依赖提供商的 schema 编码。在最小提示下测试七个模型,GPT-5.4 Thinking 表现最佳,在 66.67% 的请求中完整识别出全部资源;随着推理需求增加,准确的适用性规格说明仍更困难。
perturber 是一个无状态服务和 Python 库,每次调用只施加一个语义保持扰动,来自覆盖 11 个家族的 68 个扰动的一手目录。它基于单一原语,组合交由调用方链式调用,因此服务与库的输出天然一致。该工作评估工具本身的正确性、可复现性与成本,并逐扰动测量语义保持性,而非假设其成立。
研究者发布 GeopoliticalQA 基准,覆盖 415 份开源地缘政治与战略情报报告、5,525 条文档锚定问答对,涵盖事实、推断、比较和风险四类问题。评测 15 个检索系统和 6 个开放权重 LLM 后发现,文档级检索表现相近,但在更难的 chunk 级检索上,中等规模开源编码器 bge-m3 可匹敌大其一个数量级的模型并优于商业 embedding API。
研究将任务描述与示例组织为 Task Banks,用 Qwen 系列不同规模模型做持续指令微调,发现新任务与学习率决定哪些旧能力退化,跟踪此前答对的样本能揭示平均准确率掩盖的损失。生成式回放可减少 bank 外任务的遗忘,组合部分 bank 能提升此前正确答案的平均保留率;在 4B 模型上,由新任务引导的目标选择优于随机选择,但更小模型无此优势。
研究者提出弹性潜在循环(ELR),让循环语言模型在单次循环时与同规模非循环模型服务成本相同、精度相近,每增加一次循环则用更多推理算力换取更高精度。
AutoIndexer 是一种模拟 Chain of Edits 的生成模型,通过 token 插入、替换和删除在生成后灵活修改先前输出,弥补自回归解码无法回溯修改、扩散 LLM 无法灵活增删 token 的不足。
WSJ 报道亚马逊正洽谈以约 70 亿美元收购 Decart,此前 Nvidia 和 Anthropic 的收购谈判均已告吹。
丘成桐数学与人工智能实验室联盟在清华大学成立,将攻关数学科学专用大模型研发、AI 辅助数学形式化证明与猜想发现、可解释人工智能等领域。联盟发布 10 余项“AI+数学”重点成果和研究方向,已集结超 1000 位数学家和科研工作者,联合清华求真书院、丘成桐数学科学中心、北京雁栖湖应用数学研究院等多家机构,探索中国自己的数学大模型建设路径。
GitHub 项目 iris-clustering-kmeans-beginner-ml 提供一个 Jupyter Notebook,演示 K-Means 如何在 Iris 数据集上按特征对花朵聚类。
igbo-bilingual-chat 开源项目通过 Colab notebook 和源码对微软 Phi-3-mini 进行微调,使其能理解、翻译并使用伊博语对话,同时保留原有英语能力。项目附带可在训练中断后恢复的脚本,需至少 8GB 内存,在 Google Colab 上即可运行,无需编程基础。
作者宣布停止维护自学项目 ShupoShupo-Teaching,原因是进入大学后学习节奏明显放缓,不愿拖长进度而选择退出。该仓库聚焦 AI Engineering、ML Engineering、Graph ML 与 Geometric ML,分为记录原始过程的 /unpolished 和可供学习的 /polished 两部分,路线图原计划 12 个月,缺失主题将留待后续补充。
Sakana AI 发布 MASS(Multi-Agent Self-Supervision)方法,让同一模型同时担任执行者、工作流优化器和评估者,把多智能体团队的集体经验蒸馏为递归自我改进的自监督信号。
CharlesLiuyx/Token-Economy-Tracker 是一个每日自动更新的 AI 变现看板,由 GitHub Actions 每天刷新一次,构建产物为单文件静态 HTML(Chart.js 内联、无 CDN、可离线打开),托管在 GitHub Pages。
Vector Institute 推出 implementation-catalog,汇集其各类机器学习技术与算法实现仓库。该目录以静态网站形式托管在 GitHub Pages,支持基于 Pagefind 的即时客户端搜索,并可按 applied-research、bootcamp、tool 三种类型筛选。
Sakana AI 提出 MASS(Multi-Agent Self-Supervision),让同一个模型同时充当执行者、工作流优化器和评估器,通过内循环搜索更优多智能体工作流、外循环用自评筛选出的轨迹做 LoRA 微调,把团队协作经验蒸馏回共享权重。
Present of AI 发布 AI Timeline Dataset,从公司公告、监管文件、研究论文和报道中抽取 AI 事件并按发生日期标注,以 CC BY 4.0 协议开放,可商用、需署名。
金融数据 SaaS 项目 AltIndex 以 80 万美元挂牌出售,靠 Reddit 散户舆情、TikTok 等另类数据避开传统毫秒级量化指标竞争。产品用截图 OCR 降低信任门槛,结合程序化 SEO 与原生 MCP 协议,实现 70% 高净利闭环,团队仅 2~5 人。
MIT-LCP 推出 croissant-baker,可为 ML 数据集自动生成 Croissant JSON-LD 元数据,支持 CSV/TSV、Parquet、DICOM、NIfTI、VCF、BAM 等格式,并可通过 pip install croissant-baker 安装。
d9d 发布一个面向 PyTorch 的组合式分布式训练框架,用户用原生 PyTorch 写模型,再以 d9d 组件拼装训练任务,同一份代码可从单卡跑到多节点集群。
Logfire 通过动态 shredding 优化半结构化 attributes 数据的查询,部分查询提速超过 1000 倍,此前 30 秒超时的查询现在不到 1 秒完成。该功能将于 2026 年 2 月起向所有客户逐步推出。