베이즈 정리

틀:위키데이터 속성 추적 틀:확률론 확률론과 통계학에서 베이즈 정리(틀:Llang)는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다.

베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다. 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다.

정의

확률공간 $(P,\mathrm{Pr})$ 속에서 $A,B\subset P$가 가측 집합이라고 하고, $\mathrm{Pr}(B)>0$이라고 하자. 그렇다면, 베이즈 정리에 따라 다음이 성립한다.

$\mathrm{Pr}(A|B)=\frac{\mathrm{Pr}(B|A)\mathrm{Pr}(A)}{\mathrm{Pr}(B)}\propto ℒ(A|B)\mathrm{Pr}(A)$

각각의 항은 다음과 같은 의미를 갖는다.

• $\mathrm{Pr}(A)$는 A의 사전 확률로, 아직 사건 B에 관한 어떠한 정보도 알지 못하는 것을 의미한다.
• $\mathrm{Pr}(A|B)$는 B의 값이 주어진 경우에 대한 A의 사후 확률이다.
• $\mathrm{Pr}(B|A)$는 A가 주어졌을 때 B의 조건부 확률이다.
• $ℒ(A|B)=\mathrm{Pr}(B|A)$는 $B$가 주어졌을 때 $A$의 가능도이다.
• $\mathrm{Pr}(B)$는 B의 사전 확률이며, 정규화 상수의 역할을 한다. 이 값은 $\mathrm{Pr}(B)=\underset{A}{\int }\mathrm{Pr}(B|A)$를 이용하여 구할 수 있다.

이때 $A$는 불확실성을 계산해야 하는 대상이며, $B$는 관측하여 값을 알아낼 수 있는 대상으로 생각한다면, $A$의 확률은 $B$가 관측된 후 $P(A)$에서 $P(A|B)$로 변화하며, 베이즈 정리는 이 때의 변화를 계산하는 방법을 제공한다.

베이즈 정리 유도

• 조건부 확률

$P(A|B)=\frac{P(B\cap A)}{P(B)}$

• 곱셈 공식

P(A∩B) = P(A|B)P(B) = P(B∩A) = P(B|A)P(A)

A와 B가 독립시행일 경우 P(A∩B) = P(A)*P(B)

• 전체 확률의 법칙

P(B) = P(B∩A)

= P(B∩A₁) + P(B∩A₂)

= P(B|A₁)P(A₁) + P(B|A₂)P(A₂)

• 베이즈 정리

$P(A_1|B)=\frac{P(B\cap A_1)}{P(B)}$

= $\frac{P(B|A_1)P(A_1)}{P(B)}$

= $\frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1)+P(B|A_2)P(A_2)}$

역사

토머스 베이즈의 원고에 최초로 등장하였고, 이는 리처드 프라이스가 베이즈의 사후 1763년에 〈확률론의 한 문제에 대한 에세이〉(틀:Llang)라는 제목으로 출판하였다. 이후 피에르시몽 라플라스는 같은 정리를 1774년에 재발견하였고 1812년에 수식화하였다.

같이 보기

• 베이즈 추론
• 베이즈 네트워크
• 토머스 베이즈
• 경험적 베이즈 방법
• 몬티 홀 문제
• 오컴의 면도날
• 집행자의 오류
• 까마귀의 역설
• 재귀적 베이즈 추정
• 베이즈 통계학

각주

• 틀:서적 인용
• 틀:서적 인용
• 틀:서적 인용
• 틀:서적 인용
• 틀:서적 인용

외부 링크

• 틀:Eom
• 틀:매스월드