가능도 문서 원본 보기

{{위키데이터 속성 추적}}
[[통계학]]에서 '''가능도'''(可能度, {{llang|en|likelihood}}) 또는 '''우도'''(尤度)는 확률 분포의 모수가, 어떤 [[확률변수]]의 표집값과 일관되는 정도를 나타내는 값이다. 구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다. 가능도 함수는 확률 분포가 아니며, 합하여 1이 되지 않을 수 있다.

== 정의 ==
[[확률변수]] <math>X</math>가 모수 <math>\theta</math>에 대한 확률분포 <math>P_\theta(X)</math>를 가지며, <math>X</math>가 특정한 값 <math>x</math>으로 표집되었을 경우, <math>\theta</math>의 '''가능도 함수''' <math>\mathcal L(\theta|x)</math>는 다음과 같이 정의된다.
:<math>\mathcal{L}(\theta|x) =\Pr(X=x|\theta)</math>
'''로그 가능도'''({{llang|en|log likelihood}})는 가능도 함수의 [[로그]]이며, 확률 변수가 [[독립 확률 변수]]로 나누어지는 경우와 같이 [[확률 분포]] 함수가 곱셈 꼴로 나올 때 미분 계산의 편의성을 위해 사용한다. 로그 함수는 [[단조 증가]]하기 때문에, 가능도 함수에서 극값을 가지는 위치와 로그 가능도에서 극값을 가지는 위치는 같다. 따라서 가능도 함수를 미분하여 극값을 구하는 대신, 로그 가능도를 미분하여도 같은 결과를 얻을 수 있다.

만약 확률 변수 <math>X</math>가 <math>X = (X_1, X_2, \cdots, X_n)</math>의 꼴로 주어져 있으며, <math>X_i</math>이 확률 분포로 <math>P_{i, \theta}(X_i)</math>를 가진다면 가능도 함수와 로그 가능도 함수는 다음과 같다.
:<math>\mathcal{L}(\theta|x) = P_\theta(X=x) = P_{1,\theta}(X_1=x_1) P_{2,\theta}(X_2=x_2) \cdots P_{n,\theta}(X_n=x_n)</math>
:<math>\log \mathcal{L}(\theta|x) = \log P_{1,\theta}(X_1=x_1) + \log P_{2,\theta}(X_2=x_2) + \cdots + \log P_{n,\theta}(X_n=x_n) = \sum_i \log P_{i, \theta}(X_i = x_i)</math>

== 예 1 ==
예를 들어, 어떤 동전을 던져서 나오는 결과를 확률 변수 <math>X</math>라고 한다면, 이 변수는 앞(<math>\uparrow</math>)과 뒤(<math>\downarrow</math>)의 두 값을 가질 수 있다. 동전을 던져 앞이 나올 확률이
:<math>\Pr_\theta(X=\uparrow) = \theta</math>
로 주어지는 경우, 동전을 세 번 던져 앞, 뒤, 앞이 나왔을 때의 <math>\theta</math>의 가능도는
:<math>\mathcal L(\theta|\uparrow\downarrow\uparrow)=\theta \cdot (1-\theta) \cdot \theta = \theta^2 (1-\theta)</math>
가 된다. 가능도 함수를 적분하면
:<math>\int_0^1\mathcal L(\theta|\uparrow\downarrow\uparrow)\,d\theta=\int_0^1\theta^2(1-\theta)\,d\theta=1/12</math>
이므로, 가능도는 확률 분포가 아님을 알 수 있다.

== 예 2 ==
동전을 던져서, 앞면(H)이 나오는 확률을  <math>p_\text{H}</math> 라고 하자. 이때, 앞면이 두번 나오는 확률은  <math>p_\text{H}^2</math>이다. 만약 <math>p_\text{H} = 0.5</math> 일 경우, 두번 모두 앞면이 나올 확률은 0.25이다:
: <math>P(\text{HH} \mid p_\text{H}=0.5) = 0.25.</math>

이를 통해, 관측결과가 HH 라면,  <math>p_\text{H} = 0.5</math> 의 '''<u>가능도</u>'''는 0.25라고 말할 수 있다.
: <math>\mathcal{L}(p_\text{H}=0.5 \mid \text{HH}) = P(\text{HH} \mid p_\text{H}=0.5) = 0.25.</math>

그러나 이것은 관측결과가 HH라면,  <math>p_\text{H} = 0.5</math> 의  '''<u>확률</u>'''은 0.25 이라고 말하는 것과 같지 않다.

이를 위해서는 베이지안 추론의 개념이 필요하다. 특히, 베이 즈 정리 (Bayes 's theorem)는 사후 확률 (밀도)이 가능도 (likelihood)과 사전 확률에 비례함을 말한다.

물리적인 동전이 던져지면, 어떤 물리적 장치에 결함이 있기 때문에  <math>p_\text{H}</math>가 정확히 0.5 일 확률은 0이다. 동전의 가장자리는 약간 경사지고 [[질량]] 분포는 결코 완벽하지 않다.

이렇게 하면  <math>p_\text{H}</math>에 대한 분포가 생성된다.  더욱이, 동전의 특징은 약간의 불균형을 일으키며, 이 분포의 평균조차도 정확하게 0.5가 아닐 가능성이 높다. 그러나, 공정하게 불공평한 동전, 즉  <math>p_\text{H}</math>가 분명히 0.5보다 크거나 (0.5 미만인) 동전을 찾는 것은 어려울 수 있다.
== 같이 보기 ==
* [[조건부 확률]]
* [[최대 엔트로피 원리]]

{{전거 통제}}

[[분류:추정 이론]]
[[분류:베이즈 통계학]]