베이지안 이론(Bayes' theorem )

하늘에 구름이 있는 경우 비가 올 확률은 얼마일까?

 

P(A): 비가올 확률
P(B): 구름이 있을 확률
P(B|A): 비가올 때, 구름이 있을 확률
P(A|B): 구름이 있을 때, 비가올 확률
P(A와 B의 교집합)은 비가오는데, 구름도 있는 확률
 
위의 식은, 구름이 있을 때 비가올 확률은, 구름이 있을 때 비도오고 구름이 있던 확률과 같다는 뜻이 됩니다. 이를 이용하여, 베이지안 룰을 도출해보겠습니다.
 

글씨를 나중에 좀 더 예쁘게 써보기로

 
 
 
위의 베이지안 룰을 적용한 베이지안 추론을 동전 던지기의 예로 알아보겠습니다.
 
 
 

공평한 동전(theta=0.5)이 주어졌을 때
8번 뒤집기(8번 베르누이 시행)에서 3번의 앞면을 볼 확률은 얼마일까?

P(D|theta) 이 무엇인지 묻는 것으로, 위의 베이지안 룰에서 P(B|A)에 해당합니다. theta의 특정 값에서 데이터 D를 볼 확률로, 먼저 동전 던지기 실험(반복 베르누이 시행)을 수행하는 과정에서 앞면 또는 뒷면에 대한 데이터 D를 생성합니다. 모델은 파라미터 theta의 값이 주어지면 이 데이터 D를 볼 확률을 확인하는 데 도움이 됩니다.

그런데 사실 우리는 
 

동전 던지기를 여러번 시행하였을 때,
동전이 공정(또는 불공평)할 확률은 얼마일까?

P(theta|D), 즉, 동전 던지기를 여러번 시행하였는데, theta가 0.5일 확률이 무엇인가를 확인하고 싶습니다. 이 동전이 공정한 동전인지 아닌지가 알고 싶다는 뜻이죠. P(D|theta)와 P(theta|D) 의 관계를 베이지안 룰을 통해 풀 수 있습니다. 
 

 
 
P(theta) = Prior: 아무 증거를 고려하지 않고 우리가 믿는 확률. 동전 던지기를 예를 들면 아무 증거도 없는 상황에서, 우리는 동전 앞면이 나올 확률을 0.5로 둘 수 있습니다(사전 견해).
P(theta|D) = posterior:  증거가 고려된 후 업데이트 된 확률. 예를 들어 8번의 던지기 중 5번의 앞면이 나온다면, 이것은 동전의 공정성에 대한 업데이트된 결과입니다.
P(D|theta) = Likelihood: 이는 매개변수가 있는 모델에서 생성된 데이터를 볼 확률입니다. 동전이 공평하다는 것을 안다면 특정 횟수의 동전을 던졌을 때 여러 번 앞면이 나올 확률을 알 수 있습니다.
P(D) =Evidence: 모든 가능한 값을 합산(또는 통합)하여 결정되는 데이터의 확률로, 동전이 공정성 혹은 불공정성에 대한 모든 가능성에 대해 앞면이 몇 개 나올지에 대한 확률을 나타냅니다.
 

 

 

공정성이 알려지지 않은 동전을 여러번 던지면서, 우리는 동전의 공정성에 대한 믿음을 업데이트 해나갑니다. 처음에 우리는 동전의 공정성에 대한 사전 믿음이 없고, 공정성이 동등하다고 가정합니다. 즉 theta=0.5로 N번 반복된 Bernoulli 시도를 수행합니다(Prior=0.5). 동전 던지기를 10세트씩 관찰할 때마다, Prior에서 Posterior로 이동하기 위해 베이지안 추론을 사용합니다. 처음 10번 던져서는 결과가 skewed될 수 있고, 그에 따라 Posterior가 업데이트 됩니다. 동전을 던지는 수가 많아질수록, 데이터, 즉 증거가 많아지는 것이고, 이항분포에서 보았던 예시처럼 결국은 공정한 코인에 가깝다는 결론에 이르게 될 것입니다.
 
베이지안 추론의 전체 목표는 우리가 현재 갖고 있는 증거와 함께 Prior를 수학적으로 풀어내어 Posterior를 업데이트 한다는 데에 있습니다. 즉, 베이즈 규칙을 반복적으로 적용하여 새로운 데이터에 대한 믿음을 지속적으로 업데이트 하는데, 정보가 제한된 불확실한 상황에서, 우리가 찾아내는 데이터를 통해 보다 확실한 상황으로 움직일 수 있는 합리적인 절차를 제공한다고 볼 수 있습니다.