Samaya 研究：前沿 AI 模型在盈利预测上超过分析师共识

金融可以说是知识工作中规模最大、难度最高的领域。对全球金融市场的准确预测驱动着数万亿美元的价值，最顶尖的专家也需要多年磨练，即便如此也难臻完美。

几个月前，我们在 Samaya 发起了一项研究，旨在探究 AI 在金融领域的预测能力。要做出准确的金融预测，需要获取大量高质量、实时的金融信息——这相当于金融领域“开放世界”版的代码库。我们构建了一个专为金融设计的预测测试框架与环境，为 AI 模型提供与人类专家同等水平的、全面的时点金融信息，从而将其能力推向极限。

我们的结果表明，我们已经到达了一个关键的拐点。我们首次看到，最新前沿 AI 模型结合 Samaya 的金融测试框架，在金融预测上超越了人类专家。具体而言，我们发现最新的 AI 模型在预测盈利意外方面优于专家分析师。

**图 1.** **近期的 AI 模型能够比人类专家更好地预测盈利。** 该图展示了财报中报告的公司营收预测误差，对比了（i）原始分析师一致预期（未经调整的人类基线）和（ii）偏差校正后的一致预期（更强的基线），覆盖 456 份第二季度财报。我们观察到明显的趋势：随着模型能力增强，预测误差下降，而最新的模型甚至优于经过偏差校正的强一致预期基线。误差已按各公司的意外波动率（σ）进行调整。

盈利预测与盈利意外

全球股票市场总价值超过 150 万亿美元，是全世界专业人士和个人投资者最为关注的资产类别。全球市场中有超过一万家上市公司构成可投资范围，其中大多数公司每季度都会发布财报，公布营收、毛利率、营业利润和调整后每股收益等指标，这些也被称为实际值。这些指标是投资这些公司决策的基础，因此分析师会花费大量时间在财报发布前对这些指标进行建模、预测和发布。这些预测的平均值被称为一致预期。

图 2. 盈利意外是如何形成的。分析师预测下一季度，他们的平均预测即一致预期，而报告实际值与一致预期之间的差距就是市场所反应的意外。

一致预期构成了市场对公司业绩预期的基线。当公司发布财报时，实际值要么“超预期”（高于一致预期），要么“不及预期”（低于一致预期），其差距即为盈利意外。由于预测盈利极具挑战性，即使是最佳的一致预期也会出现偏差，因此市场可能对盈利意外做出强烈反应。因此，一致预期为评估 AI 预测盈利和盈利意外的能力提供了一个强有力的“可行”专家基线。

构建环境与测试框架

除了是投资中一项非常重要的任务外，盈利预测对 AI 来说也是一项极佳的任务。我们不仅有真实值和人类共识基线，还有公司管理层揭示的意外驱动因素，这能帮助我们理解模型的推理过程是否正确。盈利预测任务推动了金融推理：它测试理解公司基本面、对竞争对手、供应链和宏观因素进行深度搜索与检索、识别关键驱动因素、做出正确假设并恰当考虑这些因素的能力。

1. 任务环境

在盈利预测任务中，我们在 Samaya 的测试框架下运行模型，并在财报发布前一周做出预测。通过我们的框架，我们提供截至该时间点所有可用的财务信息来源。我们要求模型预测四项核心指标：营收、毛利率、营业利润和调整后每股收益。这些指标追踪利润表中的资金流动，并捕捉对财务分析至关重要的关键方面（详见附录 B）。我们将每一个这样的预测任务——在一份财报发布前预测一家公司的全部四项指标——称为一个实例。

图 3。 预测设置：在财报发布前的五个交易日，Samaya 框架下的智能体仅使用截至当日已发布的信息研究该季度，并对核心指标做出预测。截止时间之后的任何信息均不可见；预测在公司发布财报后评分。

为了比较各 AI 模型，我们计算了三个性能指标（精确定义见附录 C）：

预测误差衡量预测数字与真实值的偏离程度。
意外相关性衡量意外（即实际值 − 共识值）是否与预测意外（预测值 − 共识值）相关。这是一个总体指标，衡量模型正确预测大幅超预期和不及预期的能力。
命中率衡量预测值和实际值是否位于共识值的同一侧。

波动性归一化：由于一些公司的财务数据波动比其他公司更大，我们按每家公司的历史意外波动性进行归一化，以使预测在不同公司之间具有可比性。

构建更难的专家基线：我们发现共识基线对 AI 模型来说相对容易超越。这是因为分析师会在财报发布前系统性地下调其预期，¹因此实际值往往高于共识值。我们希望衡量 AI 模型超越此类简单修正的能力，因此我们通过加入每家公司的历史中位数意外，创建了一个更难的偏差校正共识基线。

2. Samaya 的预测框架

为了在此任务上评估模型，我们需要能够通过回溯时间并限制对未来信息的访问来运行多个实验。为了构建 Samaya 的预测框架，我们从生产框架入手，并针对此环境进行了修改。

1生产框架。首先，Samaya 的生产框架为用于现实世界投资决策的非结构化和结构化数据源提供上下文高效的财务检索。
2时点门控。随后，我们在测试框架层引入了一个时点门控。该门控通过认证令牌以编程方式强制执行，防止模型进行任何可能的黑客攻击或作弊。
3时间感知检索与数据工具。我们修改了检索栈以遵循基于时间的截止点，并重新创建了一些结构化数据工具以支持该门控。
4替代网络访问。我们移除了网络访问，因为对其应用时点门控非常困难。取而代之，我们在门控后添加了必要的新闻来源，对于此任务而言，这是网络访问的合理替代。
5专家指导。最后，我们修改了测试框架以提高上下文效率，并添加了专家指导的指令以改进预测推理。

在我们的实验中，我们测试了七个前沿模型：GPT-6 Astra、Claude Fable 5.1、Claude Opus 5.5、GPT-5.6 Sol、Claude Sonnet 5、Gemini 3.8 Flash 和 Kimi K3。我们选择了从7月14日起（在所有模型的知识截止点之后）发布报告、市值超过50亿美元且拥有超过8家券商提供预测的公司，最终得到覆盖所有行业的456家公司。

AI在预测盈利意外方面优于市场共识

我们的主要结果表明，使用Samaya测试框架的前沿AI模型能够超越市场共识。即使是较旧、较小的模型，如Sonnet 5和Kimi K3，也能超越原始共识，但只有最新的模型（Fable 5.1；Opus 5.5；GPT-6 Astra）能够超越更难的、偏差校正后的共识基线——这凸显了AI能力的一个关键拐点。我们发现GPT-6 Astra在最多指标上表现最佳（营收预测误差（图1）、整体预测误差、命中率），但我们也看到模型表现存在一些差异（Fable 5.1和Opus 5.5在意外相关性上表现最佳）。

图4。AI模型的意外相关性随着模型能力增强而提高，最新模型显著优于偏差校正后的共识。该图展示了每个模型预测的意外与实际意外的吻合程度（Spearman ρ，涵盖营收、毛利率、营业收入和调整后EPS），并与以相同方式评分的偏差校正共识进行比较。† 显著优于偏差校正后的共识（单侧配对公司聚类自助法，p<0.05）。

图5。AI模型的盈利预测误差随着模型能力增强而降低，所有模型均优于共识，而最佳模型GPT-6 Astra甚至优于偏差校正后的共识。该图展示了每个模型在营收、毛利率、营业收入和调整后EPS上的平均预测误差，并与共识和偏差校正后的共识进行比较。

图6。最佳AI预测的命中率高于历史结果基线，并在低于共识的预测上显示出显著提升。我们计算命中率（AI预测是否正确判断了实际方向），并与每家公司历史多数结果进行比较：对于每家公司及指标，根据过去8个季度的多数结果预测超预期或不及预期，平局时则随机。我们发现最佳AI模型优于这一历史多数结果，在低于共识的预测上尤为明显。

我们查看了 Claude Fable 5.1 和 GPT-6 Astra（排名前两位的模型）在 Samaya 预测框架下产生的一些轨迹，并分析了它们遵循的推理过程。我们发现，这些模型能够像我们期望的顶尖人类分析师那样，计算世界事件和新闻的财务影响。事实上，从轶事层面看，模型收集新证据的能力以及调整自身观点、偏离共识的意愿，正是它们战胜共识的原因。

图 7。 模型胜出与失误的示例。 每张卡片展示模型在财报发布前找到的证据、所应用的算术运算，以及其预测相对于实际结果的位置。底部条带显示共识（实心红色）、偏差校正后的共识（空心红色，虚线）、模型预测（蓝色）和实际值（黑色）。使用箭头在案例之间切换。所有引文均逐字摘自智能体在财报发布前检索到的文档。

厘清数据、框架和模型的影响

我们进行了一项消融研究，以了解系统的各个组成部分及其对模型性能的贡献。

获取实时数据是准确财务预测中最重要的因素

这里我们比较三种设置：(1) 无数据，即模型完全依赖参数化记忆；(2) 陈旧数据，即要求模型提前 11 周做出相同预测，也就是在上一次财报电话会议后几周内；(3) 最新数据。

图 8。 意外相关性，汇总全部四项指标，意外程度以共识为基准衡量。每根柱代表模型在相同实例上的一次运行：无数据（仅参数化知识）；陈旧数据，将时钟回拨至财报发布前 55 个交易日；以及最新数据，即发布前五个交易日。灰色虚线：偏差校正后的共识，按预测来评分。

正如预期，即使是最好的模型，在无法获取任何数据时也会举步维艰。特别是，我们看到 Claude Fable 5.1（知识截止日期为 6 月 26 日）无法利用其参数化记忆中公开可用的信息。
在季度初让模型获取数据可将性能提升 25 个百分点，凸显了获取真实数据的重要性。
但与完整数据设置相比，仍存在 12–16 个百分点的差距，大致相当于 Claude Sonnet 5 和 Kimi K3 与前沿模型之间的差距。这也印证了上一节中的观察性证据，即模型通过找到及时信息并更新其估计而表现良好。

专家指导可增强搜索和推理

我们还消融了专家指导的影响，发现有了专家指导的指令后，模型的研究量大约增加 1.6–2.7 倍（以花费的时间和使用的上下文衡量），从而减少了模型误差。

图 9。 Claude Fable 5.1 和 GPT-6 Astra 在无专家指导与有专家指导下的对比。左图：同一批公司上每次预测的中位时间和使用的中位上下文（最终模型调用中的 token 数）；箭头从无指导指向有指导。右图：相同实例上的平均预测误差，以各公司意外波动率 σ 为单位；† 表示有指导时显著更低（单侧配对公司聚类 bootstrap，p<0.05）。Claude Fable 5.1 的下降处于临界水平（p ≈ 0.05）。

即使去掉共识，最好的模型也表现出色

虽然使用共识并在此基础上改进是交易员和投资组合经理的标准做法，但我们也希望在 AI 完全看不到共识的情况下衡量其表现。我们创建了一套新工具，消除所有结构化的估计来源，并删去检索文档中任何泄露共识数字的句子。

图 10. 在无法获取共识估计（浅色）与可以获取（深色）情况下的总体意外相关性（Spearman ρ，四项指标合并，意外值相对于共识衡量），† = 获取共识显著更好（单侧配对，p<0.05），基于相同实例。 † 获取共识显著更好（单侧配对按公司聚类的 bootstrap，p<0.05）。

我们发现，较弱的模型从获取共识中获益良多，而模型越强，这一差距越小。特别是，GPT-6 Astra 的表现几乎完全相同，可能能够从公开信息中重建共识。

下一步是什么？

我们的结果显示了 AI 在金融领域的令人振奋的进步：前沿 AI 模型，在配备与金融数据整合的合适工具后，能够在盈利意外等预测任务上超越专家。

试用这些预测并将其适配到内部数据。 我们在 Samaya 产品中有一个盈利预测智能体的 alpha 版本，可供用户和客户使用。我们也在与客户合作，将这些预测适配到内部数据，以生成针对具体公司的洞察。欢迎联系我们试用并合作！
关于建模推理的进一步研究。 这些模型是如何做出预测的？它们能否可靠地识别真正的驱动因素？与人类分析师相比，它们的偏差是否更小？我们能否用 AI 的推理机制来补充人类的推理？我们正在研究这些问题及其他相关问题。
强化学习后训练与持续学习。 盈利预测环境为强化学习训练提供了高质量的信号，我们正在训练 AI 模型，让它们从这个及其他预测任务中过去的错误中学习。

图 11. 公司营收，100 家公司队列，每个模型运行五次。对于每个实例，我们选取误差最低的轨迹（深色）或误差最高的轨迹（最浅色）；中等为这些预测误差的平均值。多次运行显示出显著方差，最佳运行的误差显著低于平均值。

致谢

我们感谢 Richard Diehl Martinez 和 Rajul Bothra 对设计该环境的贡献，以及 Yuhao Zhang、Ozan Koyluoglu 和 Thejas Venkatesh 对本工作的反馈。

附录 A. 额外结果

前沿模型在更大的意外上表现更优。 营收误差按实际值与共识的偏离程度拆分，六个模型，三个前沿模型用彩色表示，其余用灰色表示。在两个外侧分组中，条形按高度排序；每组中的线为原始共识。

图 12. 以 σ 表示的平均营收预测误差，按实际值与原始共识的偏离程度拆分。黑色虚线：原始共识在每个分组中作为预测的得分。每个分组下的公司数量。

理解模型的随机性。我们在 100 家公司的样本上，将 GPT-6 Astra 和 Claude Fable 5.1 各运行了五次。我们发现，虽然每次运行之间存在差异，但多次运行取平均并不会带来显著改善。

图 13。 公司营收，100 家公司样本，每个模型运行五次。

有些指标比其他指标更难预测准确。相对于市场共识，模型在营收和毛利率上的表现优于营业利润和调整后每股收益。有两种可能的解释：(1) 营业利润和每股收益是另外两个指标的下游指标，可能出现误差累积；(2) 这些是调整后的数字，不同公司对一次性项目的会计处理惯例不同。

图 14。 波动率调整后的平均绝对误差：每个实例每个指标的误差 |预测值 − 实际值|，以公司自身历史意外波动率 σ 为单位表示（上限为 10σ），因此指标和公司之间可直接比较。灰色虚线 = 用作预测的偏差校正后市场共识的误差。

附录 B. 我们为何选择这 4 个核心指标

这四个指标遵循利润表中资金的流动顺序。流动从营收开始，即公司销售的商品或服务。毛利率是每 1 美元销售额在扣除产品直接成本后剩余的比例。然后扣除经营业务的成本，得到营业利润。最后，调整后每股收益是扣除融资和税费后最终归属于股东的每股利润。

指标	含义
营收	公司所售商品或服务的总价值。起点：企业销售的东西。
毛利率	每 1 美元销售额在扣除产品直接成本后剩余的比例。营收减去产品直接成本，占营收的比例。
营业利润	扣除经营成本后核心业务产生的利润。毛利减去经营业务的成本。
调整后每股收益	扣除融资和税费、剔除一次性项目后的每股利润。市场反应最敏感的指标。营业利润减去利息和税费，除以流通股数。

附录 C. 我们如何给模型评分

每个 i 是一个实例的一个指标（一家公司和一次财报发布），模型的预测值为 y ^ i ，实际报告值为 y i 。

市场共识。在预测日，覆盖该公司的每家券商都会发布该指标的估计值。我们取当日收盘时的券商估计中位数作为市场共识，以避免异常值造成偏差： r i = median ( broker estimates on the prediction day ) .

过往意外。对于该公司此前八个季度中的每个季度 q ，意外是指实际值与该季度财报发布前一周的共识值之间的偏离程度，以共识值的百分比表示营收和营业利润，以绝对差值表示毛利率（百分点）和调整后每股收益（美元）： s i , q = actual q − consensus q consensus q or s i , q = actual q − consensus q .

偏差校正后的共识。该公司的典型意外是其过往意外的中位数， b i = median q s i , q 。我们将其加到本季度的共识上，但仅当其为正时，因此校正可以提升共识而绝不会降低它： c i = r i ( 1 + max ( 0 , b i ) ) or c i = r i + max ( 0 , b i ) , 第一种形式用于营收和营业利润，第二种用于毛利率和调整后每股收益。

意外波动率。有些公司的意外幅度远大于其他公司。它们的意外波动率 σ i 是同样八个过往意外的标准差，下限为该指标所有公司中位数 σ ¯ 的四分之一， σ i = max ( std q s i , q , 1 4 σ ¯ ) , 这样，一家历史异常稳定的公司就不能把一次普通的未达预期变成巨大的误差。

预测误差是预测值与实际值之间的距离，以意外波动率为单位，对所有实例的所有指标取平均，单个指标上限为 10，以免其主导平均值： Prediction error = 1 n ∑ i min ( | y ^ i − y i | a i σ i , 10 ) , 其中缩放因子 a i 使误差与 σ i 处于相同单位：营收和营业利润使用报告的营收（百分比误差），毛利率和调整后每股收益使用 1。

命中率是预测指标中预测值与实际值落在共识同一侧的比例，命中率 = 1 n ∑ i 1 [ sign ( y ^ i − r i ) = sign ( y i − r i ) ] , 其中任一值恰好等于共识的指标不计入。

意外相关性首先将每个指标的预测意外和实际意外转换为以公司意外波动率为单位，使所有公司和指标处于同一尺度（两者均截断在 ±10）， z ^ i = y ^ i − r i k i σ i , z i = y i − r i k i σ i , 其中 k i = | r i | 对营收和营业利润成立，其他情况为 1。然后它是所有实例所有指标上两者之间的秩相关，当更大的预测意外伴随更大的实际意外（在方向和幅度上）时较高：意外相关性 = ρ Spearman ( z ^ i , z i ) . 这是遵循 Livnat 和 Mendenhall（2006）精神的标准化的未预期盈利度量，² 以公司自身的意外波动率而非分析师离散度进行缩放。

显著性。显著性标记（†）使用单侧配对的公司聚类自助法（公司有放回重抽样，2,000 次抽取）。

¹ B. Baik 和 G. Jiang（2006）， “The use of management forecasts to dampen analysts’ expectations”，Journal of Accounting and Public Policy 25(5), 531–553。 ↩

² J. Livnat 和 R. R. Mendenhall（2006），“Comparing the post–earnings announcement drift for surprises calculated from analyst and time series forecasts”，Journal of Accounting Research 44(1), 177–205。我们的版本以公司自身过去的意外波动率而非分析师离散度进行缩放。 ↩