중심 극한 정리 문서 원본 보기

{{위키데이터 속성 추적}}
[[파일:Clt in action.gif|섬네일|오른쪽|400px|매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 [[정규분포]]로 수렴한다.]]
[[파일:Somme tirage 1 a 6d6 et loi normale.svg|섬네일|400px|오른쪽|주사위를 n개 흔들 때 나오는 눈의 합 S n = X 1 + ... + X n의 분포가 n이 확대됨에 따라 정규 분포에 의한 근사치에 접근한 모습]]

[[확률론]]과 [[통계학]]에서 '''중심 극한 정리'''(中心 極限 定理, {{llang|en|central limit theorem}}, 약자 CLT)는 동일한 [[확률분포]]를 가진 [[독립 (확률론)|독립]] [[확률 변수]] n개의 [[평균 (통계학)|평균]]의 분포는 n이 적당히 크다면 [[정규분포]]에 [[확률변수의 수렴#분포수렴|가까워진다는]] [[정리]]이다. 수학자 [[피에르시몽 라플라스]]는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. [[확률]]과 [[통계학]]에서 큰 의미가 있으며 실용적인 면에서도 품질관리, [[식스 시그마]]에서 많이 이용된다.

== 정리 ==
중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.

=== 린데베르그-레비 중심극한정리 ===
가장 많이 쓰이는 중심극한정리는 '''린데베르그–레비 중심극한정리'''({{llang|en|Lindeberg–Lévy central limit theorem}})이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 [[확률 변수]] <math>X_1, X_2, \cdots</math>들이
# 서로 독립적이고,
# 같은 확률 분포를 가지고,
# 그 확률 분포의 [[기댓값]] ''μ''와 [[표준편차]]''σ''가 유한하다면,
평균 <math>S_n = (X_1 + \cdots + X_n)/n</math>의 분포는 기댓값 μ, [[표준편차]] <math>\sigma/ \sqrt n</math>인 [[정규분포]] N(''μ,σ''<sup>2</sup>/''n'')에 [[분포수렴]]한다. 즉,
:<math>\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)</math>
가 성립한다.

=== 랴푸노프 중심극한정리 ===
[[알렉산드르 랴푸노프]]가 증명한 '''랴푸노프 중심극한정리'''({{llang|en|Lyapunov central limit theorem}})는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 <math>X_i</math>가
# 서로 독립적이고,
# 각각 유한한 평균과 분산 <math>\mu_i, \sigma^2_i</math>를 가지며,
# ('''랴푸노프 조건''') <math>s^2_i = \sum_{j \le i} \sigma^2_j</math>를 정의하면 어떤 양의 실수 <math>\delta</math>에 대하여 {{mindent|<math>\lim_{n\to\infty} \frac{1}{s_{n}^{2+\delta}} \sum_{i=1}^{n} \operatorname{E}\big[\,|X_{i} - \mu_{i}|^{2+\delta}\,\big] = 0</math>}}가 성립할 때,
<math>\sum_i (X_i - \mu_i)/s_i</math>의 분포는 n이 커질수록 [[표준정규분포]]에 [[분포수렴]]한다.
:<math>\frac1{s_n}\sum_{i=1}^{n} (X_i - \mu_i) \xrightarrow{\mathrm d}\mathcal N(0,1)</math>

=== 린데베르그 중심극한정리 ===
'''린데베르그 중심극한정리'''({{llang|en|Lindeberg central limit theorem}})는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 <math>X_i</math>가
# 서로 독립적이고,
# 각각 유한한 평균과 분산 <math>\mu_i, \sigma^2_i</math>를 가지며,
# ('''린데베르그 조건''') 다음 공식이 성립할 때,{{mindent|<math>\lim_{n \to \infty} \frac{1}{s_n^2}\sum_{i = 1}^{n} \operatorname{E}\big[ (X_i - \mu_i)^2 \cdot \mathbf{1}_{\{ | X_i - \mu_i | > \varepsilon s_n \}} \big] = 0</math>}}
랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 <math>\mathbf{1}_{\{\cdots\}}</math>는 [[지시 함수]]이다.

=== 마팅게일 중심극한정리 ===
[[마팅게일]]의 경우, 각 <math>X_i</math>들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 '''마팅게일 중심극한정리'''({{llang|en|martingale central limit theorem}})가 성립한다. 만약 각 확률변수 <math>X_i</math>가
# [[마팅게일]]을 이루며,
# <math>n\to\infty</math>인 극한에서 다음이 성립하고,{{mindent|<math> \frac1n \sum_{i=1}^n \operatorname{E} ((X_i-X_{i-1})^2 | X_1,\dots,X_{i-1})\to1</math>}}
# 모든 <math>\epsilon>0</math>에 대하여 <math>n\to\infty</math>인 극한에서 다음이 성립할 경우,{{mindent|<math> \frac1n \sum_{i=1}^n \operatorname{E} \left( (X_i-X_{i-1})^2; |X_i-X_{i-1}| > \varepsilon \sqrt n \right) \to 0 </math>}}
<math>X_n/\sqrt n</math>은 <math>n\to\infty</math>인 극한에서 [[표준정규분포]]로 [[분포수렴]]한다.
:<math>X_n/\sqrt n\xrightarrow{\mathrm d}\mathcal N(0,1)</math>
여기서 <math>\operatorname{E}(A|B)</math>는 조건부 기댓값, <math>\operatorname{E}(A;B)</math>는 제한 기댓값({{llang|en|restricted expectation}})이다.

== 이항분포의 예 ==
사건이 일어날 확률을 <math>p</math> , 일어나지 않을 확률을 <math>q</math>라 할 때, <math>N</math>번의 시행중에서 사건이 <math>n</math>번 일어날 확률은 다음과 같다.

:<math>\operatorname{P}(n) = {N \choose n} {p^n}{q^{(N-n)}} </math>
이 확률분포가 결국 <math>N</math>이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 <math>\scriptstyle {n}={\bar{n}}</math>에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.
:<math>\left({\frac{\partial \operatorname{P}}{\partial n}}\right)_{{n}={\bar{n}}} = 0</math>
[[로그 함수]]는 단조증가 함수이므로, 다음의 식도 만족하게 된다.
:<math>\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0</math>
충분히 작은 <math>{\eta}</math>에 대하여 <math>\scriptstyle  {n} \equiv {\bar{n}} + {\eta}</math>라 정의하고 <math>\scriptstyle {\bar{n}}</math>근처에서 <math>{\eta}</math>에 대하여 테일러 전개하면 다음과 같다.
:<math>\ln{\operatorname{P}(n)} = \ln{\operatorname{P}(\bar{n})} + {B_1}{\eta} + \frac{1}{2} {B_2}{\eta}^2 + \frac{1}{6} {B_3}{\eta}^3 +\dots </math>
여기서 이미 <math>\scriptstyle {B_1}=\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}}</math>이므로, 0이 된다는 걸 알 수 있다. 또한 <math>{\eta}</math>가 충분히 작으므로, 다음과 같이 <math>{\eta}</math>에 대한 2차식으로 근사할 수 있다.
:<math>\ln{\operatorname{P}(n)} \approx \ln{\operatorname{P}(\bar{n})} + \frac{1}{2} {B_2}{\eta}^2 </math>
양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.
:<math>\operatorname{P}(n) = \operatorname{P}(\bar{n})e^{\frac{1}{2} {B_2}{(n-\bar{n})}^2} </math>

여기서, <math>\scriptstyle \left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0</math> 이므로 이것을 바탕으로 [[스털링 근사]]를 이용하여 <math>\scriptstyle {\bar{n}}</math> 을 구해보면,
:<math>{\frac{\partial \ln{\operatorname{P}}}{\partial n}} = -\ln{n} + \ln{(N-n)} + \ln{p} -\ln{q}</math>
:<math>\frac{(N-{\bar{n}})}{\bar{n}} \frac{p}{q} = 1</math>
:<math> \therefore {\bar{n}}=Np=m</math>
<math>\bar{n}</math>은 평균이 됨을 알 수 있다.

이제 <math>{B}_{2}</math>를 구해보면, 다음을 얻는다.
:<math>\frac{\partial ^2 \ln{\operatorname{P}}}{\partial ^2 n} = - \frac{1}{n} - \frac{1}{N-n}</math>
:<math>{B}_{2} = - \frac{1}{Np} - \frac{1}{Nq} = -\frac{p+q}{Npq} = -\frac{1}{Npq} = -\frac{1}{\sigma ^2}</math>

그렇다면 [[확률밀도함수]]는 다음과 같이 쓸 수 있다.
:<math>\operatorname{P}(n)= {A} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}</math>
이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다.
:<math>\operatorname{P}(n)= {\frac{1}{\sqrt{2\pi} \sigma}} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}</math>
따라서 <math>{\mathrm{B}(N,p)}</math>는 <math>N</math>이 충분히 커질 때(보통 Np>5, Nq>5일 때), <math>{\mathrm{Z}(Np,Npq)}</math>로 근사할 수 있다.

== 같이 보기 ==
* [[벤포드의 법칙]]
* [[정규 분포]]
== 참고 문헌 ==
* {{서적 인용|last=Bauer|first=Heinz|title=Measure and integration theory|url=https://archive.org/details/measureintegrati0000baue|publisher=De Gruyter|location=Berlin|날짜=2001|isbn=3110167190|언어=en}}
* {{서적 인용|last=Billingsley|first=Patrick|title=Probability and measure|url=https://archive.org/details/probabilitymeasu0000bill|edition=Third|publisher=John Wiley & sons|날짜=1995|isbn=0-471-00710-2|언어=en}}
* {{서적 인용|last=Durrett|first=Richard|title=Probability: theory and examples|edition=4th|year=2004|publisher= Cambridge University Press|
isbn=0521765390|언어=en}}
* {{서적 인용|last=Bradley|first=Richard|title=Introduction to strong mixing conditions |날짜=2007|isbn=0-9740427-9-X|publisher=Kendrick Press|location=Heber City, Utah, U.S.|언어=en}}
* {{저널 인용|last=Bradley|first=Richard|author-link=|title=Basic properties of strong mixing conditions. A survey and some open questions
|journal=Probability Surveys|날짜=2005|volume=2|pages=107–144 |arxiv=math/0511078v1 |doi=10.1214/154957805100000104 |언어=en}}

== 외부 링크 ==
{{위키공용분류}}
* {{eom|title=Central limit theorem|first= Yu.V.|last=Prokhorov}}
* {{매스월드|id=CentralLimitTheorem|title=Central limit theorem}}
* [http://www.statisticalengineering.com/central_limit_theorem.htm 중심극한정리의 애니메이션]
* [https://web.archive.org/web/20070917081132/http://www.math.csusb.edu/faculty/stanton/m262/central_limit_theorem/clt.html 자바로 구현한 중심극한정리]
* [http://www.vias.org/simulations/simusoft_cenlimit.html Central Limit Theorem] 다양한 변수를 주어 인터렉티브 실험하는 중심극한정리

{{전거 통제}}

[[분류:확률과 통계]]
[[분류:확률론]]
[[분류:수학 정리]]
[[분류:통계학 용어]]
[[분류:확률론 정리]]
[[분류:통계학 정리]]