확률 변수의 수렴

틀:위키데이터 속성 추적 확률변수의 수렴에는 여러 가지의 정의가 존재한다.

분포 수렴

확률변수 $X_n$이 균등분포 $U(0,1)$를 따를 때, 중심극한정리에 따르면 $Z_n:=\sum _i{X}_i/\sqrt{n}$은 정규분포로 분포수렴한다.

분포 수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 $X_1,X_2,\cdots$와 각각의 누적 분포 함수 $F_1,F_2,\cdots$에 대하여, 어떤 확률변수 $X$와 와 확률 분포 함수 $F$가 존재하여,

모든 실수 $x$에 대하여 $\underset{n\to \mathrm{\infty }}{\lim }{F}_n(x)=F(x)$

가 성립할 경우, $\{X_n\}$은 $X$로 분포수렴한다고 정의한다. 기호로는

$\begin{array}{cc}& X_n\stackrel{d}{\to }X,X_n\stackrel{𝒟}{\to }X,X_n\stackrel{ℒ}{\to }X,X_n\stackrel{d}{\to }{ℒ}_X,\\ & X_n⇝X,X_n\Rightarrow X,ℒ(X_n)\to ℒ(X),\\ \end{array}$

등이 사용된다. 여기에서 $ℒ$은 확률 분포를 가리키며, 예를 들어 $X$가 표준정규분포라면 $X_n\stackrel{d}{\to }𝒩(0,1)$와 같이 표기할 수 있다.

분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.

확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 $A\subseteq {ℝ}^k$가 $\mathrm{Pr}[X\in \partial A]=0$일 때(continuity set),

에 대하여 $\underset{n\to \mathrm{\infty }}{\lim }\mathrm{Pr}[X_n\in A]=\mathrm{Pr}[X\in A]$

가 성립한다면 $X_n$은 $X$로 분포수렴한다.

성질

• 레비 연속성 정리(Lévy's continuity theorem): 확률변수 $X_n$가 $X$로 분포수렴하는 것과 $X_n$의 특성함수가 $X$의 특성함수로 점마다 수렴하는 것은 동치이다.
• 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, $f_n(x)=(1-\cos (2\pi nx))1_{\{x\in (0,1)\}}$에 대응하는 확률변수는 균등분포 $U(0,1)$로 수렴하지만, $f_n$은 수렴하지 않는다.
• 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
• Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
  • 모든 유계 연속 함수 $f$에 대해 $E[f(X_n)]\to E[f(X)]$
  • 모든 유계 립시츠 연속 함수 $f$에 대해 $E[f(X_n)]\to E[f(X)]$
  • 위로 유계이고 위에서 반연속인 함수 $f$에 대해 $\lim \sup [Ef(X_n)]\le E[f(x)]$
  • 아래로 유계이고 아래에서 반연속인 함수 $f$에 대해 $\lim \inf [Ef(X_n)]\ge E[f(x)]$
  • 모든 닫힌 집합 $C$에 대해 $\lim \sup \mathrm{Pr}[X_n\in C]\le \mathrm{Pr}[X\in C]$
  • 모든 열린 집합 $U$에 대해 $\lim \inf \mathrm{Pr}[X_n\in U]\ge \mathrm{Pr}[X\in U]$
  • 모든 $X$의 continuity set에 대해 $\lim \mathrm{Pr}[X_n\in A]=\mathrm{Pr}[X\in A]$

확률 수렴

확률 수렴(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.

확률변수 $X_1,X_2,\cdots$와 $X$에 대하여, 모든 $ϵ>0$에 대해

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{Pr}(|X_n-X|\ge \epsilon )=0$

가 성립할 때, $\{X_n\}$은 $X$로 확률 수렴한다고 정의한다.

확률 수렴의 표기는 다음과 같다.

$X_n\stackrel{p}{\to }X,X_n\stackrel{P}{\to }X,\underset{n\to \mathrm{\infty }}{\mathrm{plim}}{X}_n=X$

정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 $(S,d)$가 주어졌을 때, 모든 $\epsilon >0$에 대하여

$\mathrm{Pr}(d(X_n,X)\ge \epsilon )\to 0$

가 성립하는 경우 확률 수렴한다고 정의한다.

성질

• 거의 확실한 수렴은 확률 수렴을 포함한다.
  • 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
• 확률 수렴은 분포 수렴을 포함한다.
  • 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다.
• (연속 사상 정리 틀:Llang) 임의의 연속 함수 $g$에 대해, $X_n$이 $X$로 확률 수렴한다면 $g(X_n)$은 $g(X)$로 확률 수렴한다.

거의 확실한 수렴

거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.

확률 공간 $(\mathrm{\Omega },ℱ,P)$ 위의 확률변수 $X_1,X_2,\cdots$와 $X$에 대하여,

$\mathrm{Pr}(\underset{n\to \mathrm{\infty }}{\lim }{X}_n=X)=1$

이 성립할 경우, $\{X_n\}$은 $X$로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.

$\mathrm{Pr}(\omega \in \mathrm{\Omega }:\underset{n\to \mathrm{\infty }}{\lim }{X}_n(\omega )=X(\omega ))=1$

즉, 각 $\omega$에 대하여 거의 어디서나 수렴한다는 의미이다.

거의 확실한 수렴은 $X_n\stackrel{\mathrm{a}\mathrm{.}\mathrm{s}\mathrm{.}}{\to }X$로 표기한다.

성질

• 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.

확실한 수렴

확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.

확률공간 $(\mathrm{\Omega },ℱ,P)$ 위의 확률변수 $X_1,X_2,\cdots$와 $X$에 대하여

$\underset{n\to \mathrm{\infty }}{\lim }{X}_n(\omega )=X(\omega ),\mathrm{\forall }\omega \in \mathrm{\Omega }$

가 성립할 경우, $\{X_n\}$은 $X$로 확실하게 수렴한다고 정의한다.

같이 보기

• 측도 수렴 함수열