베이즈 정리
1. 개요
베이즈 정리(Bayes' theorem) 어떤 사건이 서로 배반하는 원인 둘에 의해 일어난다고 할 때 실제 사건이 일어났을 때 이것이 두 원인 중 하나일 확률을 구하는 정리를 베이즈의 정리라고 한다
결국 조건부 확률(사후 확률)을 구하는 것을 말하는데, 이는 어떤 사건이 만들어 놓은 상황에서, 그 사건이 일어난 후 앞으로 일어나게 될 다른 사건의 가능성을 구하는 것을 말한다. 즉, 기존 사건들의 확률을 알고 있다면, 어떤 사건 이후의 각 원인들의 조건부 확률을 알 수 있다는 것이다. 하지만 기존 사건들의 확률을 알지 못한다면 베이즈 정리는 쓸모없는 것이 되는 한계가 있다. 대부분의 사회 통계는 전수조사가 불가능하기에 기존 사건들의 확률 역시 알 수 없는 것이어서 한 때 베이즈 정리는 관심 밖에 있었으나, 최근 빅 데이터를 통해 기존 사건들의 확률을 대략적으로 뽑아낼 수 있게 됨으로써(데이터가 쌓일수록 확률의 정확도는 올라간다.), 사회적 통계나 주식에서의 빅 데이터를 이용한 베이즈 정리 활용이 필수적인 것으로 되고 있다.
2. 베이즈 정리의 두 가지 맥락
2.1. 역확률 문제
베이즈 정리는 본래 '''역확률(inverse probability) 문제'''를 해결하기 위한 방법이었다. 즉, 조건부 확률 $$\displaystyle P(B|A) $$를 알고 있을 때, 전제와 관심 사건의 관계가 정반대인 조건부 확률 $$\displaystyle P(A|B) $$을 구하는 방법이었다.
예를 들어, 병 I를 앓고 있는지를 판정하는 정확도가 90% 검사기가 있고, 어떤 사람이 이 검사기로 검사를 시행해서 양성판정이 나왔다면, 이 사람이 90%의 확률로 병에 걸려 있다고 이야기할 수 있을까? 그렇지 않다. 왜냐하면 검사가 알려주는 확률과 우리가 알고 싶은 확률은 조건부 확률의 의미에서 정반대이기 때문이다.
- 검사의 정확도 '90%'는 검사가 병을 가진 사람을 정확하게 포착할 확률, 즉 병을 가지고 있다는 전제 하에 검사 결과가 양성일 확률이 90%임을 의미한다.
- 하지만 우리가 알고 싶은 것은 검사 결과가 양성이라는 전제 하에 병을 앓고 있을 확률이다. 이는 앞에서 말한 확률과는 그 의미가 전혀 다르다. 아래 표에서도 볼 수 있듯, 조건부 확률의 관점에서 보면 전제(조건)와 관심 사건의 관계가 정반대이기 때문에, 이런 식의 확률을 구해야 하는 문제를 역확률 문제라고 부른다.
수식으로 정리하면 다음과 같다.
사건 A가 발생한 경우(이 경우는 발병확률) $$\alpha$$, 발생하지 않은 경우 1-$$\alpha$$에 대해서 각각 검사 정확도 $$\beta$$가 적용된다.
①사건 A가 실제로 발생했고 검사로도 발생했다고 인정되는 확률 : $$\alpha\beta$$
②사건 A가 실제로 발생했으나 검사로는 인정되지 못하는 확률 : $$\alpha\left(1-\beta\right)$$
③사건 A가 발생하지 않았고 실제로도 발생하지 않았다고 인정되는 확률 : $$\left(1-\alpha\right)\beta$$
④사건 A가 발생하지 않았으나 발생했다고 오진되는 확률 : $$\left(1-\alpha\right)\left(1-\beta\right)$$
이 경우, A가 발생했다고 판정된 경우(양성)는 ①+④가 되는 $$1-\alpha-\beta+2\alpha\beta$$이며, 실제 발생한 경우는 $$\alpha\beta$$이므로, 양성일 경우의 정확도는 $$\displaystyle \frac{\alpha\beta}{1-\alpha-\beta+2\alpha\beta}$$가 된다.
마찬가지로, A가 발생하지 않은 경우(음성)는 ②+③인 $$\alpha+\beta-2\alpha\beta$$이며, 이 경우에 실제 발생한 경우는 $$\alpha\left(1-\beta\right)$$이므로, 음성판정을 받은게 오진일 확률은 $$\displaystyle \frac{\alpha\left(1-\beta\right)}{\alpha+\beta-2\alpha\beta}$$가 된다.
2.2. 데이터를 이용한 사후 확률의 추정
하지만 베이즈 정리를 이전의 경험과 현재의 증거를 토대로 어떤 사건의 확률을 추론하는 알고리즘으로 보고 관심을 가지는 사람들도 있었다. 이 때는 어떤 사건이 일어날 확률에 대한 임의의 가정 $$\displaystyle P(A) $$에 실제로 발견된 자료나 증거 $$\displaystyle B $$를 반영해서, 자료로 미루어보아 어떤 사건이 일어날 확률 $$\displaystyle P(A|B) $$을 구하는 것이 관심의 대상이 된다. 대표적으로 나이브 베이지안 알고리즘이 있다.
앞의 진단검사 문제를 '어떤 사람이 병 I에 걸렸을 확률을 계산하는 문제'로 조금 달리 접근해 보자.
이 문제에서 베이즈 정리가 알려주는 것은, 만약 우리가 '어떤 사건 A가 일어났다고 가정할 때 B라는 자료를 얻게 될 확률'에 대한 정보만 알고 있다면, 자료에 근거해서 어떤 사건이 일어날 확률을 새로 계산할 수 있다는 것이다. 위의 사례에서는 검사의 정확도가 '어떤 사건(병 I에 걸림)이 일어났다고 가정할 때 자료(양성 판정을 받음)를 얻게 될 확률'에 대한 정보를 제공해주기 때문에 이를 이용해 검사 결과를 토대로 그 사람이 병에 걸렸을 확률을 새로 계산할 수 있다.1. 처음에는 어떤 사람이 병 I에 걸려있을 확률에 대해 아는 것이 없어, 전 세계 인구 일반이 해당 질병에 걸릴 확률인 1%의 유병률을 가정했다.
2. 그런데 정확도가 90%인 검사를 받았더니 양성 판정을 받았다.
3. '''이 사람이 검사에서 양성 판정을 받았다는 새로운 사실을 토대로''' 이 사람이 실제로 병에 걸려있을 확률을 알 수 있지 않을까?
이러한 관점에서 베이즈 정리에 접근할 때는 다음과 같은 몇 가지 용어들이 등장한다.
- 새로운 자료가 없는 상태에서 어떤 사건이 일어날 확률에 대한 가정이 필요한데, 이를 사전 확률(prior probability)이라 한다.
- 사건이 일어났다는 가정 하에서 새로이 가지게 된 자료가 관측될 확률을 가능도(likelihood)[1]라고 한다.
- 사전확률과 가능도를 이용해서 새롭게 계산한, '(새로운 자료로 미루어보아 새롭게 판단한) 어떤 사건이 일어날 확률'을 사후 확률(posterior probability)이라고 한다.
- 베이즈 정리의 분모에 해당하는 부분은 가능도를 구할 때 조건으로 걸린 사건(위의 예의 경우, (실제 병의 유무와는 상관 없이) '양성 판정이 나올 확률')의 확률이다. 기능적으로는 사후 확률이 확률의 정의(0 이상 1 이하여야 한다)를 충족시키도록 사전확률과 가능도의 곱을 보정해주는 역할을 한다. 위와 같은 예에서는 쉽게 계산할 수 있고 엄밀하게 사후확률을 구하려면 반드시 필요한 부분이지만, 실제로 생각보다 계산이 까다로울 경우 등식을 비례 관계로 바꾸고 생략할 수도 있다.
참고로 어떤 사건에 대한 사전확률이 0이나 1이라면 베이즈 정리에 따라 사후확률도 0이나 1으로 고정되게 된다. 따라서 사전확률이 0과 1 이외의 값이 되어야만 반증이 존재할 시 이를 받아들여서 사후확률을 업데이트하는 것이 가능하다. 이를 다룬 법칙이 크롬웰의 법칙이다.
3. 수학적인 일반화
개요에서 설명한 식은 사건이 두 종류(A, B)뿐인 고등학교 확률 문제에도 나올 정도로 간단한 경우이다. 예를 들면, 주머니 속에 당첨제비가 3장, 꽝이 7장 들어있을 때, 갑이 1장을 뽑고 확인은 하지 않고 자기가 갖고 있는다. 그다음에 을이 1장을 뽑았는데 당첨이었다. 이때 갑도 당첨이었을 확률을 구하는 것인데, 갑이 당첨인 사건을 A라 하고 을이 당첨인 사건을 B라 한 다음 위 공식에 따라 계산하면 확률은 $$\displaystyle {2\over 9} $$ 라는 것을 알 수 있다.
사건을 n개로 확장시켰을 때의 조금 더 일반적인 베이즈 정리는 다음과 같다.
n개의 사건 $$ A_1, A_2, ... , A_n $$ 이 표본공간 $$ S $$ 를 분할할 때, 공사건이 아닌 사건 $$ B $$ 에 대하여 $$ P(B) $$ 는 확률의 덧셈정리에 의하여 $$ P(B)=P(B\cap A_1)+P(B\cap A_2)+...+P(B\cap A_n) $$ 를 만족하고, 이는 확률의 곱셈정리에 의하여 $$ P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n) $$ 와 같이 나타낼 수 있다. 이런 상황에서 사건 $$ B $$ 가 일어나는 것을 전제로 한 사건 $$ A_i $$ 의 조건부 확률은 다음과 같이 구할 수 있다.
$$\displaystyle P(A_i|B)={P(B\cap A_i)\over P(B)}={P(A_i)P(B|A_i)\over {P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n)}} $$
4. 활용
4.1. 베이즈 통계학 (베이지언 통계학)
베이즈 통계학은 쉽게 말해 사후 확률을 추론하는 방식인 베이즈 정리를 이용해 통계학의 문제에 접근하는 흐름을 일컫는다. 자신이 가지고 있던 기존의 믿음(가설, 모형, ...)에 자료를 반영해서 더 새로운 것으로 만든다는 아이디어는 심플해 보이지만, 베이즈 정리는 확률이나 추정에 대한 관점이 기존의 통계학과 많이 달라서 이를 비판적으로 바라보는 사람들도 많았다. 하지만 이보다도 치명적인 장애물은, 사후분포를 사람의 손으로는 계산하기 쉽지 않은 케이스들이 많다는 것이었다.
만약 사전분포와 가능도가 특정한 짝을 이루고 있다면, 이로부터 추출되는 사후분포는 사전분포와 동일한 형태를 가지는데, 이러한 사전분포를 공액사전분포 또는 켤레사전분포(conjugate prior)라 한다. 예를 들어, 사전분포와 가능도가 모두 정규분포를 따른다면 사후분포는 사전분포와 동일한 정규분포가 된다. 또, 사전분포와 가능도가 각각 베타분포와 이항분포(또는 이것의 특수한 사례로서의 베르누이 분포)를 따른다면, 사후분포는 사전분포와 동일한 베타분포가 된다. 이러한 분포들 사이의 관계는 베이즈 통계학을 본격적으로 배우게 되면 가장 먼저 접하게 되는 내용이다. 이러한 경우에는 정해진 업데이트 공식을 계산하면 쉽게 사후분포를 유도할 수 있기 때문에, 베이즈 통계학의 아이디어가 발견된 이후로 줄곧 사용되어 왔다.
하지만 현실에서 발생하는 데이터들은 항상 이렇게 사전분포와 가능도가 잘 매칭되지 않는 경우가 대부분이라는 것이 문제였다. 이런 경우에는 사람의 손으로 직접 사후분포를 계산하기에는 어려움이 너무 커서, 베이즈 통계학을 현실에서 활용하기에 많은 무리가 따랐다. 하지만 최근 컴퓨터의 계산 능력이 급증하고, 더불어 사후 확률의 계산을 몬테 카를로 방법 혹은 변분법을 이용한 Variational inference같은 기법으로 해낼 수 있다는 것이 밝혀지면서, 베이즈주의의 관점에서 데이터를 분석하는 것이 훨씬 쉽게 되었다.
4.2. 인지과학에서의 베이즈 정리
심리학, 신경과학, 인지과학 등의 분야에서는 베이즈 정리가 바로 인간이 생각하고 판단하는 근본적인 방식일 수도 있겠다고 보는 이론적인 흐름을 낳기도 했다. 이러한 입장은 인지과학 연구자들 사이에서도 의견이 분분한데, 베이즈주의의 관점에서 심리 과정을 연구하는 학자들은 '''인간의 뇌와 마음에서 일어나는 과정이 정확히 베이즈 정리를 따른다'''고 가정하기 때문이다. 단순히 인간이 환경에 대해 학습하고 자신의 믿음을 업데이트한다는 주장과, 그 과정이 정확히 베이즈 정리를 따른다는 주장 사이에는 큰 차이가 있다. 또한 베이즈주의 인지과학의 입장은 단순히 인지과학의 여러 분야에서 데이터를 분석하기 위해 베이즈 통계학을 사용하는 것과도 차이가 있다.
이러한 관점에 관심이 있는 심리학자와 신경과학자들은 신경세포의 정보처리 과정이나 행동이 정확히 베이즈 정리에 의해 설명되며 베이즈적인 관점에서 '합리적'임을 모델링을 통해 설명한다(심리학에서의 예, 신경과학에서의 예).
4.3. 베이즈주의 인식론
과학철학 및 인식론에서의 학파 혹은 연구 분야. 그 핵심 주장을 아주 거칠게 표현하면 다음과 같다:
- 인식론적·과학적 합리성이란 확률론의 콜모고로프 공리를 온전히 따르는 것, 그 이상도 이하도 아니다.
관련된 문제 및 입장들로는 다음과 같은 사례들이 있다:
- 주관주의 확률론: 확률의 본성에 관한 입장 가운데 하나로, 확률이란 믿음의 정도를 뜻한다는 입장. 베이즈주의 인식론의 기초가 된다.
- 믿음의 정도(degree of belief): 베이즈주의 인식론의 핵심 개념이며, "신념도"라고도 번역된다. 실제 심리적 현상으로서의 '믿음'이 이산적인 게 아니라 이처럼 연속적인 모형에 부합하는지 여부를 따지는건 심리철학의 문제 중 하나다.
- 합리적 결정 이론: 게임 이론과 밀접한 이론. 베이즈주의 인식론이 "무엇을 믿어야 하는가?"를 알려준다면, 합리적 결정 이론에서는 이를 바탕으로 "어떻게 행동해야하는가?"에 대한 답을 준다고 거칠게 설명할 수 있다.
4.3.1. 더 읽어볼만한 글
5. 관련 문서
[1] '우도'라고 표현하기도 한다