가우스-마르코프 정리 문서 원본 보기

{{위키데이터 속성 추적}}
{{정리 필요|날짜=2022-01-03}}
[[통계학]]에서 '''가우스-마르코프 정리'''({{llang|en|Gauss–Markov theorem}}, 또는 일부 저자는 '''가우스 정리'''<ref>See chapter 7 of {{서적 인용|author1=Johnson, R.A.|author2=Wichern, D.W.|year=2002|title=Applied multivariate statistical analysis|volume=5|publisher=Prentice hall}}</ref>라고 표기)는 [[선형 회귀]] 모형의 오차가 상관관계가 없고, 오차의 분산이 일정하며, 오차의 기대값이 0이며 설명변수가 외생변수일 때 보통 최소제곱 추정량(OLS)은 다른 선형 불편 추정량에 비하여 표본 분산이 가장 낮다고 명시한다.<ref>{{서적 인용|first=Henri |last=Theil |author-link=Henri Theil |chapter=Best Linear Unbiased Estimation and Prediction |title=Principles of Econometrics |url=https://archive.org/details/principlesofecon0000thei |url-access=registration |location=New York |publisher=John Wiley & Sons |year=1971 |pages=[https://archive.org/details/principlesofecon0000thei/page/119 119]–124 |isbn=0-471-85845-5 }}</ref> 오차항이 정규분포를 따를 필요는 없다.

이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다.<ref>{{저널 인용|first=R. L. |last=Plackett |author-link=Robin Plackett |title=A Historical Note on the Method of Least Squares |journal=[[Biometrika]] |volume=36 |issue=3/4 |year=1949 |pages=458–460 |doi=10.2307/2332682 }}</ref> 그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다.<ref>{{저널 인용|first=F. N. |last=David |first2=J. |last2=Neyman |title=Extension of the Markoff theorem on least squares |journal=Statistical Research Memoirs |year=1938 |volume=2 |pages=105–116 |oclc=4025782 }}</ref> 비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.<ref name="Aitken1935">{{저널 인용|first=A. C. |last=Aitken |title=On Least Squares and Linear Combinations of Observations |journal=Proceedings of the Royal Society of Edinburgh |year=1935 |volume=55 |pages=42–48 |doi=10.1017/S0370164600014346 }}</ref>

== 선형 회귀 모델과 최소 제곱 추정 ==
선형 회귀 모델로서 목적 변수 Y와 p개의 설명 변수 {{math|1=''X''<sub>''i''</sub>, ''i'' = 1, ..., ''p''}} 및 오차항 <math>\varepsilon_k</math> 의 관계를 다음과 같이 모델화한 것을 생각한다.

<math>Y_k = \beta_0  + \beta_1 X_1 + \beta_2 X_2 +  \cdots +\beta_p X_p + \varepsilon_k,\ k=1,\dots,n.</math>

목적 변수 및 설명 변수 측정 결과의 조{{math|(''y<sub>k</sub>''; ''x''<sub>''k,''1</sub>,...,''x<sub>k,p</sub>'')}}를 하나의 데이터로 하여 n( ≧ p)개의 데이터를 이용하여 잔차의 제곱합

<math>\sum_{k=1}^n \left\{y_i - (\beta_0  + \beta_1 x_{i,1} + \beta_2 x_{i,2} +  \cdots +\beta_p x_{i,p})\right\}^2</math>

가 최소가 되다<math>(\beta_0, \beta_1, \cdots, \beta_p)</math>를 최소 제곱 추정량이라고 부른다.여기서

<math>\mathbf{Y} = \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix},\ \mathbf{X} = \begin{bmatrix}
  1 & x_{11} & x_{12} & \dots & x_{1p} \\
  1 & x_{21} & x_{22} & \dots & x_{2p} \\
  \vdots & \vdots & \vdots & & \vdots \\
  1 & x_{n1} & x_{n2} & \dots & x_{np}
\end{bmatrix},\ \boldsymbol{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{bmatrix},\ \boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}</math>

라고 놓으면 선형 회귀 모델은

<math>\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}</math>

라며, 최소 제곱 추정량<math>\widehat{\boldsymbol{\beta}}</math>

<math>\widehat{\boldsymbol{\beta}}  =(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top \mathbf{Y}</math>

으로 주어진다. 또한, 상부 첨자은 전치 행렬을 나타낸다.

== 가우스 마르코프의 정리 ==
=== 가정 ===

오차항 <math>\boldsymbol{\varepsilon}</math> 에 대해서

# <math>E[\boldsymbol{\varepsilon}]=0</math> （불편성）
# <math>\operatorname{Cov}[\boldsymbol{\varepsilon}] = \sigma^2 \boldsymbol{I}</math> （등분산성·무상관성）

를 가정한다. 여기서<math>\boldsymbol{I}</math>는 단위 행렬을 나타낸다.

무상관성은 독립성보다도 약한 가정이며, 또 [[정규 분포]] 등 특정 분포를 따르는 것을 가정하고 있지 않다.

=== 정리의 내용 ===
최소 제곱 추정량 <math>\widehat{\boldsymbol{\beta}}</math>는 최우수 선형 [[불편 추정량]](best linear unbiased estimator, '''BLUE''')이다. 즉 임의의 선형 불편 추정량 <math>\widetilde{\boldsymbol{\beta}}</math>에 대해서

: <math>\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]</math>

가 성립한다.

=== 증명 ===
<math>\widetilde{\boldsymbol{\beta}}</math>는 선형 추정량이므로<math>(p+1)</math><math>n</math>행렬의 행렬<math>\mathbf{C}</math>를 이용하여<math>\widetilde{\boldsymbol{\beta}}=\mathbf{C}\mathbf{Y}</math>고 하다. <math>\widetilde{\boldsymbol{\beta}}</math>가 불편성을 갖기 위한 조건을 요구하면 <math>E[\widetilde{\boldsymbol{\beta}}]=\mathbf{C}\mathbf{X}\boldsymbol{\beta}=\boldsymbol{\beta}</math>가 항등적으로 성립되기 때문에<math>\mathbf{C}\mathbf{X}=\mathbf{I}</math>이다.

다음에<math>\widetilde{\boldsymbol{\beta}}</math>의 분산 공분산 행렬을 정리하면

: <math>
\begin{alignat}{2}
\operatorname{Cov}\left[ \widetilde{\boldsymbol{\beta}} \right] & = E\left[(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})^\top\right] \\
& = E\left[\mathbf{C}\boldsymbol{\varepsilon}(\mathbf{C}\boldsymbol{\varepsilon})^\top\right] \\
& = \mathbf{C}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\top]\mathbf{C}^T \\
& = \sigma^2\mathbf{C}\mathbf{C}^\top
\end{alignat}
</math>

가 된다 여기서<math>\hat{\mathbf{C}}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top</math>라고 했을 때의 추정량이 최소 제곱 추정량<math>\widehat{\boldsymbol{\beta}}</math>이 되기 때문에 <math>\mathbf{C}\mathbf{C}^\top \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top</math>을 나타내면 된다. 불편성보다<math>\mathbf{C}\mathbf{X}=\mathbf{I}</math>그래서

: <math>
\begin{alignat}{2}
(\mathbf{C} - \hat{\mathbf{C}})\hat{\mathbf{C}}^\top & = (\mathbf{C} - \hat{\mathbf{C}})\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = (\mathbf{C}\mathbf{X} - \hat{\mathbf{C}}\mathbf{X})(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = \mathbf{O}
\end{alignat}
</math>

에 주의하면

: <math>
\begin{alignat}{2}
\mathbf{C}\mathbf{C}^\top & = (\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})^\top \\
& = (\mathbf{C}-\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}})^\top + \hat{\mathbf{C}}\hat{\mathbf{C}}^\top \\
& \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top
\end{alignat}
</math>

가 성립한다. 따라서

: <math>\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]</math>

가 성립하며, 최소 제곱 추정량<math>\widehat{\boldsymbol{\beta}}</math>는 최우수 선형 불편 추정량이 된다.

== 같이 보기 ==
* [[선형 회귀]]
== 각주 ==
<references />

[[분류:통계학 정리]]