중심 극한 정리

매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 정규분포로 수렴한다.

주사위를 n개 흔들 때 나오는 눈의 합 S n = X 1 + ... + X n의 분포가 n이 확대됨에 따라 정규 분포에 의한 근사치에 접근한 모습

확률론과 통계학에서 중심 극한 정리(中心 極限 定理, 틀:Llang, 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률과 통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.

정리

중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.

린데베르그-레비 중심극한정리

가장 많이 쓰이는 중심극한정리는 린데베르그–레비 중심극한정리(틀:Llang)이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 확률 변수 $X_1,X_2,\cdots$들이

1. 서로 독립적이고,
2. 같은 확률 분포를 가지고,
3. 그 확률 분포의 기댓값 μ와 표준편차σ가 유한하다면,

평균 $S_n=(X_1+\cdots +X_n)/n$의 분포는 기댓값 μ, 표준편차 $\sigma /\sqrt{n}$인 정규분포 N(μ,σ²/n)에 분포수렴한다. 즉,

$\sqrt{n}\left(\right(\frac{1}{n}\sum _{i=1}^n{X}_i)-\mu )\stackrel{d}{\to }𝒩(0,{\sigma }^2)$

가 성립한다.

랴푸노프 중심극한정리

알렉산드르 랴푸노프가 증명한 랴푸노프 중심극한정리(틀:Llang)는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 $X_i$가

1. 서로 독립적이고,
2. 각각 유한한 평균과 분산 ${\mu }_i,{\sigma }_i^2$를 가지며,
3. (랴푸노프 조건) $s_i^2=\sum _{j\le i}{\sigma }_j^2$를 정의하면 어떤 양의 실수 $\delta$에 대하여 틀:Mindent가 성립할 때,

$\sum _i(X_i-{\mu }_i)/s_i$의 분포는 n이 커질수록 표준정규분포에 분포수렴한다.

$\frac{1}{s_n}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{\mathrm{d}}{\to }𝒩(0,1)$

린데베르그 중심극한정리

린데베르그 중심극한정리(틀:Llang)는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 $X_i$가

1. 서로 독립적이고,
2. 각각 유한한 평균과 분산 ${\mu }_i,{\sigma }_i^2$를 가지며,
3. (린데베르그 조건) 다음 공식이 성립할 때,틀:Mindent

랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 ${\mathrm{𝟏}}_{\{\cdots \}}$는 지시 함수이다.

마팅게일 중심극한정리

마팅게일의 경우, 각 $X_i$들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 마팅게일 중심극한정리(틀:Llang)가 성립한다. 만약 각 확률변수 $X_i$가

1. 마팅게일을 이루며,
2. $n\to \mathrm{\infty }$인 극한에서 다음이 성립하고,틀:Mindent
3. 모든 $ϵ>0$에 대하여 $n\to \mathrm{\infty }$인 극한에서 다음이 성립할 경우,틀:Mindent

$X_n/\sqrt{n}$은 $n\to \mathrm{\infty }$인 극한에서 표준정규분포로 분포수렴한다.

$X_n/\sqrt{n}\stackrel{\mathrm{d}}{\to }𝒩(0,1)$

여기서 $\mathrm{E}(A|B)$는 조건부 기댓값, $\mathrm{E}(A;B)$는 제한 기댓값(틀:Llang)이다.

이항분포의 예

사건이 일어날 확률을 $p$ , 일어나지 않을 확률을 $q$라 할 때, $N$번의 시행중에서 사건이 $n$번 일어날 확률은 다음과 같다.

$\mathrm{P}(n)=(\genfrac{}{}{0ex}{}{N}{n})p^n{q}^{(N-n)}$

이 확률분포가 결국 $N$이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 $n=\overline{n}$에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.

${\left(\frac{\partial \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$

로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다.

${\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$

충분히 작은 $\eta$에 대하여 $n\equiv \overline{n}+\eta$라 정의하고 $\overline{n}$근처에서 $\eta$에 대하여 테일러 전개하면 다음과 같다.

$\ln \mathrm{P}(n)=\ln \mathrm{P}(\overline{n})+B_1\eta +\frac{1}{2}{B}_2{\eta }^2+\frac{1}{6}{B}_3{\eta }^3+\dots$

여기서 이미 $B_1={\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}$이므로, 0이 된다는 걸 알 수 있다. 또한 $\eta$가 충분히 작으므로, 다음과 같이 $\eta$에 대한 2차식으로 근사할 수 있다.

$\ln \mathrm{P}(n)\approx \ln \mathrm{P}(\overline{n})+\frac{1}{2}{B}_2{\eta }^2$

양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.

$\mathrm{P}(n)=\mathrm{P}(\overline{n})e^{\frac{1}{2}{B}_2{(n-\overline{n})}^2}$

여기서, ${\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$ 이므로 이것을 바탕으로 스털링 근사를 이용하여 $\overline{n}$ 을 구해보면,

$\frac{\partial \ln \mathrm{P}}{\partial n}=-\ln n+\ln (N-n)+\ln p-\ln q$

$\frac{(N-\overline{n})}{\overline{n}}\frac{p}{q}=1$

$\therefore \overline{n}=Np=m$

$\overline{n}$은 평균이 됨을 알 수 있다.

이제 $B_2$를 구해보면, 다음을 얻는다.

$\frac{{\partial }^2\ln \mathrm{P}}{{\partial }^{2}n}=-\frac{1}{n}-\frac{1}{N-n}$

$B_2=-\frac{1}{Np}-\frac{1}{Nq}=-\frac{p+q}{Npq}=-\frac{1}{Npq}=-\frac{1}{{\sigma }^2}$

그렇다면 확률밀도함수는 다음과 같이 쓸 수 있다.

$\mathrm{P}(n)=A{e}^{-\frac{(n-m{)}^2}{2{\sigma }^2}}$

이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다.

$\mathrm{P}(n)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(n-m{)}^2}{2{\sigma }^2}}$

따라서 $\mathrm{B}(N,p)$는 $N$이 충분히 커질 때(보통 Np>5, Nq>5일 때), $\mathrm{Z}(Np,Npq)$로 근사할 수 있다.

같이 보기

• 벤포드의 법칙
• 정규 분포

참고 문헌

• 틀:서적 인용
• 틀:서적 인용
• 틀:서적 인용
• 틀:서적 인용
• 틀:저널 인용

외부 링크

• 틀:Eom
• 틀:매스월드
• 중심극한정리의 애니메이션
• 자바로 구현한 중심극한정리
• Central Limit Theorem 다양한 변수를 주어 인터렉티브 실험하는 중심극한정리