시카고대학에서 경제학을 전공한 네이트 실버(Nate Silver)는 통계학자이자 정치 예측가다.
그는 2002년 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다. 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타PECOTA를 개발한 것이다.
페코타는 놀라운 적중률로 곧 화제가 되기 시작했다. 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만5000달러를 따는 등 수십만 달러를 긁어모으며 승승장구했고 덕분에 회사를 그만둘 수 있었다.
그리고 그는 2008년 그동안 쌓인 통계학과 예측의 노하우를 활용해 정치 예측 블로그인 파이브서티에이트(FiveThirtyEight.com)를 개설했다.
지난 2012년 미국 대통령 선거의 영웅은 당연히 버락 오바마다. 그러나 또 한 사람을 꼽으라면 네이트 실버다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다.
유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다.
그의 저서 『신호와 소음』(더퀘스트)은 통계학을 기반으로 어떻게 잘못된 정보(소음)을 거르고 진짜 의미 있는 정보(신호)를 찾을 것인지에 대한 책이다.
네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해 설명한다.
그는 ‘왜 수많은 예측들은 실패하지만 어떤 예측은 맞을까’라는 질문을 던지며 책의 실마리를 푼다.
‘빅 데이터’라는 말이 암시하듯이 매일 엄청난 데이터가 생성되는 시대가 되었지만 미래를 예측하는 일은 더 어려워졌다. 이는 유용한 정보인 ‘신호’와 예측을 방해하는 ‘소음’을 구분하는 일이 갈수록 까다로워졌기 때문이다.
네이트 실버의 목표는 이런 상황에서 어떻게 더 정확한 예측이 가능한지를 알아내는 것이다.
그가 신호와 소음을 구분하기 위해 사용하는 도구 중 가장 중요한 것은 통계학의 ‘베이즈 정리(Bayes’s theorem)’다. 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다.
베이즈 정리에 의거한 베이즈주의와 반대되는 것이 빈도주의(frequentist)다. 도출된 확률을 고정된 값으로 취급하는 것이다.
흔히 동전을 던지면 앞·뒷면이 나올 확률을 각각 50%라고 한다. 이 확률을 고정적이고 객관적으로 실재하는 값으로 이해하는 것이 빈도주의라면 베이즈주의는 찌그러진 동전을 던졌을 때에는 이 확률이 달라질 것이므로 공장에서 찌그러진 동전이 생산될 확률(사전 확률)까지 가정해야 하며, 이 값은 여러 차례의 시행착오를 통해 수정돼야 한다고 본다.
여러 번의 수정을 거쳐 앞·뒷면이 나올 확률은 특정한 값에 수렴될 것이고 이것이 현재까지 도출된 확률이라는 것이다.
이런 접근법은 단순한 수학 공식을 넘어 진리에 대한 철학을 전제하고 있다. 네이트 실버(와 토마스 베이즈)에 따르면 ‘동쪽에서 해가 뜬다’라는 명제는 절대불변의 영원한 진리는 아니지만, 그렇다고 매일 그 진위가 바뀔 수 있는 상대적인 것도 아니다.
다만 그럴 확률이 ‘(100%에 가까울 정도로) 아주 높다’라는 걸 그동안의 데이터를 통해 추측할 수는 있다. 이것이 바로 그의 ‘진리에 대한 철학’이다.
그의 철학에 따르면 예측이란 결국 그동안의 자료를 갖고 매일매일 어떤 값에 수렴하는 근삿값을 찾는 것이고, 그렇게 발견한 어떤 값은 이를 뒤엎는 결과가 나올 때까지는 우리에게 참이 된다.
네이트 실버는 정치에 대해 자신이 지지하는 당에 유리한 정보에만 귀를 기울이는 태도 등의 다양한 요소가 정확한 예측을 어렵게 만든다고 말한다.
그는 ‘여우’와 ‘고슴도치’형의 예측가를 나누는데, 여우는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하는 자아비판이 가능하며 복잡한 상황과 정보를 잘 견디고 조심스러우면서 이론보다는 실제 관찰을 중시하는 사람이다.
반면 고슴도치는 한 분야를 파면서 자잘한 것은 무시한 채 큰 아이디어를 추구하는 사람이다.
네이트 실버는 빅 데이터 시대에 걸맞은 유형은 ‘여우형’의 예측가라고 말하며 텔레비전의 정치 쇼나 정치 분석가들의 실제 예측을 분석하고, 왜 그들의 예측은 어긋날 수밖에 없었고 자신의 예측은 맞았는지를 설명한다.
경제 문제도 깊숙하게 다룬다. 금융 위기는 경제 주체들의 불확실성과 위험에 대한 인식 부족으로 인해 벌어졌다. 네이트 실버는 당시에 금융 위기를 암시하는 어떤 ‘신호’들이 있었는지, 그리고 경제학자와 전문가들은 왜 이를 놓쳤는지를 다룬다.
네이트 실버는 무슨 마술 같은 방법으로 미래를 예측할 수 있는 것은 아니라고 말한다. 주변에서 얻을 수 있는 정보나 대다수 사람들이 경험을 통해 도출해 낸 공동의 결론, 상식 등을 이용해 우선 신중하게 예측을 한 뒤, 그 결론의 불완전성을 인정한 채로 천천히 새로운 정보를 모아야 한다는 것이다.
그리고 이것이 진실을 담은 신호인지 의미 없는 소음인지를 구별하고 이를 바탕으로 예측의 진위를 판단해야 한다.
네이트 실버는 예측할 수 없는 것이 존재함을 인정하는 겸손함과 예측할 수 있는 것을 예측하는 용기 그리고 그 차이를 아는 지혜가 훌륭한 예측가에게 필요한 자질이라고 말한다.
