为什么选择标准普尔 500 指数财务预测？#

• 季度更新和可复制性 ：财务报告每季度发布一次，为持续跟踪模型迭代提供了一个自然的“赛道”。
• 防止现有数据污染 ：历史事件很容易搜索或不可避免地被训练到模型中，因此无法确保公平评估。
• 自然人类专家控制组 ：华尔街分析师在该领域积累了多年经验，提供了可量化的基线。共识估计可以理解为人类专家的平均水平。
• 实用商业价值 ：如果预测能够显着优于分析师，则可能会带来显着的阿尔法。

目标 #

标准普尔 500 指数预测评估 （LLM 与卖方分析师）

• 核心评估问题 ：大型语言模型（LLMs）在预测上市公司的财务业绩方面能否超过华尔街分析师（来自雅虎财经）的普遍估计？
• 当前任务 ：对标准普尔 500 指数成分股（根据 2025 年 6 月 30 日的名单）对下一季度的“ 每股收益 ”和“ 收入 ”（2025 年第二季度）进行点预测
• 核心指标 ：

  1. 胜率 – 这衡量 LLM 的预测是否比分析师的共识估计更准确。对于每只股票，我们将 LLM 预测与实际报告值的绝对误差与分析师共识估计与实际值的绝对误差进行比较。如果 LLM 的误差较小，则算作“胜利”。

     • 公式：胜率 = Number of LLM winsTotal number of predictions×100%Total number of predictionsNumber of LLM wins​×100%

     • 地点：LLM 在以下情况下 ∣LLM Forecast−Actual∣<∣Analyst Consensus−Actual∣∣LLM Forecast−Actual∣<∣Analyst Consensus−Actual∣ 获胜

  2. 平均绝对百分比误差 （MAPE） – 这衡量预测误差的平均大小占实际值的百分比。它提供了一种标准化方法来比较不同股票和财务指标的预测准确性，无论其绝对值如何。

     • 分子式：MAPE = 1n×∑∣Forecast−Actual∣∣Actual∣×100%n1​×∑∣Actual∣∣Forecast−Actual∣​×100%

     • 注意：对于每个股票预测，对于大于 30% 的误差，MAPE 的上限为 30%，以消除可能扭曲整体评估的极端异常值。

评估时间表 #

我们遵循时间表：

• 2025 年 6 月 30 日（锁定样本）： 获得 SP500 成分股的共识估计

• 2025 年 6 月 30 日至 7 月 2 日（批量获取 LLM 响应）： 使用相同的提示获取模型的预测

• 财报季（滚动财务业绩发布）： 获取财务公告并滚动更新排名

• 财报季结束（总结和分析）： 总体排名和结论

主要结果 

1. 胜率比较 

在模型的最终胜率方面，Gemini 和 GPT-o3 表现异常出色，两类预测的平均胜率分别达到了 43% 和 41%。 中国一线模特为 Kimi/DeepSeek/豆宝和 Erine，胜率在 34-27% 左右。但目前还没有机型的胜率超过 50%， 说明与专业分析师的水平仍有一定差距（通常，高于/低于共识的净利润会影响公司发布时的股价。如果该模型对分析师的净收益预测胜率超过 50%，则意味着该模型的短期财务预测能力已经超过华尔街分析师，其结果可以产生投资价值）。每个模型对分析师的收入/每股收益胜率分别如下：

2. 误差比较 

从误差与实际公布业绩相比来看， 分析师表现更为稳定， 营收和每股收益的平均误差幅度均最小。

注：如果每个模型和分析师的净利润和收入的 MAPE 大于 30%，则上限为 30%，以防止单个数据点产生重大影响。

3. 案例 #

通过查看模型的预测与共识之间的差异，我们可以看到，尽管我们的输入提示明确指出模型应该通过自己的分析得出自己的结论，但部分结果（例如，大约 35% 的 O3 收入预测 ）仍然非常接近当时的分析师共识预测 。大模型倾向于使最终答案非常接近共识。如果我们将收入差异小于 0.5% 且净收入差异小于 1% 的情况视为平局 ，则在重新计算结果后，模型和分析师之间的差距会变得更加明显。新结果如下：

文章出自 https://futurex-ai.github.io/