跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

18 条精选近 30 天 12 条共收录 3,269 条

更新

数据与训练的精选

10月16日周五第 1–18 条
  1. Google DeepMind60

    Google DeepMind 用 Google Antigravity 加速抗菌肽发现

    Google DeepMind 介绍用其智能体开发平台 Google Antigravity 加速抗菌肽发现,把过去分散在多个数据库的检索压缩到一次会话中。平台借助 ProtNLM 从氨基酸序列预测生物功能,扫描 UniProt 中数百万条未表征蛋白,找到一条对呼吸道感染相关病原体有预测活性的新型抗菌肽候选,目前正进行湿实验验证。

    推荐理由:原文给出智能体科研工作台在抗菌肽发现中的完整流程,可了解跨库检索与结构分析如何被压缩进单次会话。

  2. The Decoder80

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题约 2.40 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:读者可看到前沿模型在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练与资源门槛的影响判断。

10月15日周四
  1. vLLM Blog76

    vLLM 提出训练推理逐位一致的 RL 训练方案,DeepSeek-V4-Flash 上 diff 为 0

    vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。

    推荐理由:原文给出训练与推理逐位一致的具体做法与吞吐代价,可据此判断高性能 RL 训练中数值对齐的取舍。

10月13日周二
10月12日周一
  1. Sakana AI Blog62

    Sakana AI 提出 MASS:用多智能体自监督实现递归自我改进

    Sakana AI 发布论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》,提出 MASS 方法:一个共享模型通过虚拟子智能体团队解题,搜索更优的多智能体工作流,再用自身判断选出最佳方案,并把最佳团队的执行轨迹蒸馏回共享模型。

    推荐理由:论文给出多智能体自监督在递归自我改进中的三轮关键结论,并提示同质化自我评估的安全风险。

10月11日周日
10月9日周五
  1. RadarAI78

    数学家组织 AHM 呼吁抵制 OpenAI,称其批量发布 700 多个 AI 生成证明是权力展示

    由陶哲轩担任主席的 AHM 组织发表声明,呼吁抵制 OpenAI,称其一次性发布 700 多个 AI 生成证明文件不是学术展示而是权力展示。此前 OpenAI 宣称内部模型一个月内解决逾 100 个开放数学问题,约 8000 个测试问题成功率约 5%,平均每个耗时 3 小时 GPT-Pro 级算力。

    推荐理由:材料汇集数学界对 OpenAI 批量发布 AI 证明的抵制声明与陶哲轩、Aaronson 等多方反应,便于了解争议全貌与社区分歧。

  2. The Decoder78

    数学家呼吁抵制 OpenAI,AI 生成证明大量涌入数学界

    一批数学家发表声明,呼吁抵制 OpenAI,起因是 OpenAI 一次性放出 700 多份 AI 生成的数学证明文件。声明称数学家并未要求这项工作,把这种批量发布形容为展示力量而非学术贡献,并提到 OpenAI 面临的多起版权诉讼。

    推荐理由:数学界对 OpenAI 一次性放出 700 多份 AI 证明的反应,呈现了学术共同体与 AI 实验室在署名、验证和研究节奏上的分歧。

10月6日周二
9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时实验室测试显示其生物功能未受影响。

    推荐理由:Google DeepMind 把 SynthID 水印扩展到合成生物学,读者可了解其如何在不影响蛋白功能的前提下嵌入可检测信号。

9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月21日周一
  1. Microsoft Research62

    Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera 并开源

    Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera,用于自动提出小分子合成路线。该框架结合 Transformer 模型 R-SMILES 2 与基于图神经网络和反应模板的 NeuralLoc,用学习式集成重排序融合两者预测,在盲测中化学家更偏好其单步反应预测,十个挑战性目标中九个被专家接受。

    推荐理由:论文发表于 Nature,并开源实现与权重,读者可了解逆向合成模型如何用集成重排序提升路线预测质量。

9月11日周五
  1. Together AI Blog62

    Together AI 扩展微调服务,新增模型、实时指标与更细粒度控制

    Together AI 扩展 Fine-Tuning 服务,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持,并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。

    推荐理由:原文给出微调全流程的可见性与控制项,读者可据此判断训练实验与部署环节的改动方向。

9月8日周二
  1. Google DeepMind80

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组 90 亿个单字母变异预测

    Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 倍以上,已通过网站门户、AlphaGenome API 和 Google Antigravity 中的 skill 开放学术研究免费使用。

    推荐理由:原文给出覆盖 90 亿单核苷酸变异的预计算预测与 AVI 评分,读者可了解基因组变异解读的规模化路径。

7月21日周二
  1. OpenAI Alignment 研究博客66

    OpenAI 提出 Contrastive SDF 方法测量模型的奖励寻求行为

    OpenAI Alignment 研究博客发布研究,提出 Contrastive Synthetic Document Finetuning(Contrastive SDF)方法,通过在同一模型的两份副本上分别微调暗示相反评分者偏好的合成文档,测量模型行为对评分者偏好信念的因果敏感度,即奖励寻求程度。

    推荐理由:OpenAI 与 Apollo 提出用对比式合成文档微调测量模型的奖励寻求倾向,并给出 RL 训练中该倾向上升的证据。

6月19日周五
  1. OpenAI Alignment 研究博客71

    OpenAI 研究:有益特质强化学习可带来广泛且持久的对齐泛化

    OpenAI Alignment 研究博客发布研究,发现针对诚实、认知谦逊、可纠正性等有益特质做强化学习,能在 53 项内外部基准中的 44 项上超过同等算力基线,改进跨域泛化到训练未涉及的领域。研究构建了覆盖健康、教育、科学、法律等领域的真实对话数据集,将少量有益特质数据混入后训练分布进行 RL 训练。结果显示这些对齐改进在对抗性提示和有害微调下更难被逆转,模型仍对有益指令保持可引导性。

    推荐理由:OpenAI 用真实场景数据做有益特质 RL,展示对齐改进可跨域泛化并在对抗压力下保持,为对齐训练提供可迁移思路。

6月17日周三
5月7日周四
  1. OpenAI Alignment 研究博客66

    OpenAI 调查 RL 训练中意外对 CoT 打分的影响

    OpenAI 披露其自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 在 RL 训练中曾被意外对 CoT 打分,GPT-5.5 未受影响。

    推荐理由:OpenAI 公开了自家 RL 训练中意外对 CoT 打分的检测系统与影响分析,可供理解 CoT 可监控性为何脆弱。