정보 이론 문서 원본 보기

{{위키데이터 속성 추적}}
[[파일:Binary erasure channel.svg|thumb]]

'''정보 이론'''(情報理論, {{llang|en|information theory}})은 최대한 많은 [[데이터]]를 매체에 저장하거나 [[채널 (통신)|채널]]을 통해 통신하기 위해 데이터를 정량화하는 [[응용 수학]]의 한 분야이다. 데이터의 단위인 [[정보 엔트로피]]는 보통 저장 또는 통신에 사용되는 평균적인 [[비트 (단위)|비트]] 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다.

정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들 수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출현 빈도값을 계산하면 4.08비트까지 줄어든다. 이것 외에도 어떤 철자가 오면 그 뒤에 특정철자가 올 확률이 아주 높은 등 여러 가지 이유가 있기 때문에 정보 엔트로피(정보량)는 더욱 줄어들 수 있게 된다. 한 가지 예를 들면 q가 오면 그뒤에 a,u가 올 확률이 거의 100%이다.

정보 이론의 기본적인 주제가 적용되는 기술로 [[ZIP]] 파일([[무손실 데이터 압축]]), [[MP3]] 파일([[손실 데이터 압축]]), [[DSL]]([[채널 용량|채널 부호화]]), [[MIMO]]([[채널 모델]]) 등이 있다. 정보 이론 분야는 [[확률론]], [[통계학]], [[컴퓨터과학]], [[통계역학]], [[:en:Information_engineering|정보공학]], [[전기공학]]과 연관되어 있으며, [[보이저 계획]]의 성공, [[콤팩트 디스크]]의 [[발명]], [[휴대전화]]의 실용화, [[인터넷]]의 개발, [[언어학]]과 인간 [[지각 (심리학)|지각]]의 연구, [[블랙홀]]의 이해 등 많은 곳에 큰 영향을 끼쳤다.

== 수학적 모델 ==
정보 이론은 크게 3가지 분야로 나눌 수 있다. 이 3가지 분야는 소스 [[부호 이론|코딩 이론]], 채널 코딩 이론, 그리고 [[부호율-변형 이론]]이다.

=== 채널 코딩 이론 ===
채널 코딩 이론은 주어진 채널에 얼마나 많은 데이터를 보낼 수 있는가를 다루는 부분이다. 어떤 채널로 보낼 수 있는 정보의 최대량을 [[채널 용량]]이라고 한다.
:<math>\xrightarrow[\text{Message}]{W}
\begin{array}{ |c| }\hline \text{Encoder} \\ f_n \\ \hline\end{array} \xrightarrow[\mathrm{Encoded \atop sequence}]{X^n} \begin{array}{ |c| }\hline \text{Channel} \\ p(y|x) \\ \hline\end{array} \xrightarrow[\mathrm{Received \atop sequence}]{Y^n} \begin{array}{ |c| }\hline \text{Decoder} \\ g_n \\ \hline\end{array} \xrightarrow[\mathrm{Estimated \atop message}]{\hat W}</math>

채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 아래와 같이 정의된다.
:<math> C = \max_{f_X(x)} I(X;Y). \! </math>
여기서 <math>f_X(x)</math>는 입력 신호 <math>X</math>의 [[확률 밀도 함수]]이다.

== 내부 링크 ==
* [[부호율-변형 이론]]

== 같이 보기 ==
* [[베이즈 추론]]
* [[커뮤니케이션 이론]]
* [[형식과학]]
* [[정보철학]]

== 외부 링크 ==
{{위키공용분류}}
* [http://www.aistudy.com/control/information_theory.htm 정보 이론 - AI study]

{{압축 방식}}
{{전거 통제}}
{{토막글|정보}}

[[분류:정보 이론| ]]
[[분류:통신]]
[[분류:이산수학]]
[[분류:형식과학]]