상호정보 문서 원본 보기

{{위키데이터 속성 추적}}
[[확률 이론]]과 [[정보이론]]에서 두 개의 [[무작위]] [[변수]]의 상호정보(또는 상호의존정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( [[섀넌 (단위)|섀넌]]과 같은 단위 , 더 일반적으로 [[비트 (단위)|비트]]라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 [[정보 엔트로피|엔트로피]]의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.

p( X , Y )는 p ( X ) p ( Y )의 분해 된 [[결합분포]]의 산물이며, [[상관분석|상관]] [[계수]]와 같은 [[실수]] 값의 무작위 변수에 국한되지 않는다. 상호정보(MI)는 [[점 상호 정보]] ( pointwise mutual information ,PMI)의 예상 값이다.

== 정의 ==
형식적으로 두 개의 [[이산수학|이산]] [[확률 변수]] X 와 Y 의 상호 정보<ref>{{서적 인용|last1=Cover|first1=T.M.|last2=Thomas|first2=J.A.|title=Elements of Information Theory|date=1991|isbn=978-0-471-24195-9|edition=Wiley}}</ref>는 다음과 같이 정의 할 수 있다.

:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X}
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) }
</math>

여기서 p ( x , y )는 X 와 Y 의 [[결합분포]]함수 이고, P (x) 와 P (y)는 X 와 Y 의 [[주변 분포]] 함수를 각각 갖는다.

[[연속 함수|연속 확률 변수]]의 경우, 합계는 [[중적분]]으로 대체된다.

:<math> I(X;Y) = \int_Y \int_X
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) } \; dx \,dy,
</math>

여기서 p ( x , y )는 X 와 Y 의 [[결합분포]]밀도함수이고 p ( x )와 p ( y )는 각각 X 와 Y 의 [[주변 분포]] [[확률 밀도 함수|밀도 함수]]이다.

[[로그|로그밑]]이 2가 사용되면 상호 정보 단위는 비트이다.

== 같이 보기 ==
* [[공분산#공분산행렬|공분산 행렬]]
* [[정보 엔트로피]]
* [[정보 이득]]

== 각주 ==
{{각주}}

{{전거 통제}}

[[분류:정보 이론]]
[[분류:통계학]]
[[분류:정보 엔트로피]]