잔차 제곱합 문서 원본 보기

{{위키데이터 속성 추적}}
[[통계학|통계]]에서 '''잔차제곱합''' ('''SSR''') 또는 '''오차제곱합''' '''(SSE''') 이라고도 알려진 잔차 제곱합('''RSS''')은 [[제곱|잔차]]의 제곱[[합]](실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 [[선형 회귀|선형회귀]]와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 [[모형 선택|모델 선택]]시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 [[정규방정식|최소제곱법]](OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

== 하나의 독립변수 ==
독립변수가 하나인 모델에서 RSS는 다음과 같다.<ref>{{서적 인용|제목=Correlation and regression analysis : a historian's guide|성=Archdeacon, Thomas J.|날짜=1994|출판사=University of Wisconsin Press|쪽=161–162|isbn=0-299-13650-7|oclc=27266095}}</ref>

: <math>\operatorname{RSS} = \sum_{i=1}^n (y_i - f(x_i))^2 </math>

여기서 ''y''<sub>''i''</sub> 는 ''i'' 번째 예측할 변수 값이고, ''x''<sub>''i''</sub> 는 ''i'' 번째 독립변수의  값이며, <math>f(x_i)</math>는 ''y''<sub>''i''</sub> 의 예측값이다( <math>\hat{y_i}</math> 라도도 함). 표준 선형 단순 [[회귀 분석|회귀모델]]에서는 <math>y_i = \alpha + \beta x_i+\varepsilon_i\,</math>, 여기서 <math>\alpha</math>와 <math>\beta</math>는 [[계수]]이고, ''y''와 ''x는'' 각각 [[독립변수와 종속변수|종속변수]]와 [[독립변수와 종속변수|독립변수이고]], &#x3B5;는 오차이다. 잔차의 제곱합은  <math>\widehat{\varepsilon\,}_i</math> 의 제곱합이며, 다음과 같다.

: <math>\operatorname{RSS} = \sum_{i=1}^n (\widehat{\varepsilon\,}_i)^2 = \sum_{i=1}^n (y_i - (\widehat{\alpha\,} + \widehat{\beta\,} x_i))^2 </math>

여기서 <math>\widehat{\alpha\,}</math>는 상수 <math>\alpha</math>의 추정 값이고, <math>\widehat{\beta\,}</math>는 기울기 계수 <math>\beta</math>의 추정 값이다.

== OLS 잔차제곱합에 대한 행렬 표현식 ==
{{수학 변수|n}}개의 관측값과 {{수학 변수|k}}개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.

: <math> y = X \beta + e</math>

여기서 {{수학 변수|y}}는 종속 변수 관측값의 ''n'' × 1 벡터이고, ''n'' × ''k'' 행렬 {{수학 변수|X}} 의 각 열은 ''k'' 설명자 중 하나에 대한 관측값 벡터이다. <math>\beta </math>는 실제 계수의 ''k'' × 1 벡터이고, {{수학 변수|e}}는 실제 기본오차의 ''n'' × 1 벡터이다. [[정규방정식|최소제곱법]] 추정값 <math>\beta</math>는 다음과 같다.

: <math> X \hat \beta = y \iff</math>

: <math> X^\operatorname{T} X \hat \beta = X^\operatorname{T} y \iff</math>

: <math> \hat \beta = (X^\operatorname{T} X)^{-1}X^\operatorname{T} y.</math>

잔차 벡터 <math>\hat e = y - X \hat \beta = y - X (X^\operatorname{T} X)^{-1}X^\operatorname{T} y</math> ; 따라서 잔차 제곱합은 다음과 같다:

: <math>\operatorname{RSS} = \hat e ^\operatorname{T} \hat e = \| \hat e \|^2 </math> ,

(잔차 [[노름|놈(norm)]]제곱과 동일) 전체를 다시 정리하면 다음과 같다:

: <math>\operatorname{RSS} = y^\operatorname{T} y - y^\operatorname{T} X(X^\operatorname{T} X)^{-1} X^\operatorname{T} y = y^\operatorname{T} [I - X(X^\operatorname{T} X)^{-1} X^\operatorname{T}] y = y^\operatorname{T} [I - H] y</math> ,

여기서 {{수학 변수|H}} 는 모자행렬 또는 선형회귀의 투영 행렬이다.

== 피어슨 상관관계와의 관계 ==
[[최소제곱법|최소제곱 회귀선은]] 다음과 같다.

: <math>y=ax+b</math> ,

여기서 <math>b=\bar{y}-a\bar{x}</math> 그리고 <math>a=\frac{S_{xy}}{S_{xx}}</math>, 여기서 <math>S_{xy}=\sum_{i=1}^n(\bar{x}-x_i)(\bar{y}-y_i)</math> 그리고 <math>S_{xx}=\sum_{i=1}^n(\bar{x}-x_i)^2.</math>

그러므로,

: <math>
\begin{align}
\operatorname{RSS} & = \sum_{i=1}^n (y_i - f(x_i))^2= \sum_{i=1}^n (y_i - (ax_i+b))^2= \sum_{i=1}^n (y_i - ax_i-\bar{y} + a\bar{x})^2 \\[5pt]
& = \sum_{i=1}^n (a(\bar{x}-x_i)-(\bar{y}-y_i))^2=a^2S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy} \left(1-\frac{S_{xy}^2}{S_{xx} S_{yy}} \right)
\end{align}
</math>

여기서 <math>S_{yy}=\sum_{i=1}^n (\bar{y}-y_i)^2 .</math>이다.

[[피어슨 상관 계수|피어슨 상관관계]]는 다음과 같다.

<math>r=\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}; </math> 그러므로, <math>\operatorname{RSS}=S_{yy}(1-r^2). </math>

== 추가 설명자료 ==

* 아카이케 정보 기준#최소제곱과의 비교
* [[카이제곱 분포|카이제곱 분포#응용 프로그램]]
* [[자유도 (통계학)|자유도(통계)#자유도와 제곱의 합]]
* 통계의 오차 및 잔차
* 적합성 부족 제곱합
* [[평균 제곱 오차]]
* 카이제곱 통계량 감소, 자유도당 RSS
* 제곱 편차
* 제곱합(통계)

== 같이 보기 ==
* [[카이제곱 분포]]
* [[자유도 (통계학)]]
* [[평균 제곱 오차]]
== 참고자료 ==
{{서적 인용|title=Correlation and regression analysis : a historian's guide|last=Archdeacon, Thomas J.|date=1994|publisher=University of Wisconsin Press|pages=161–162|isbn=0-299-13650-7|oclc=27266095}}
{{각주}}

* {{서적 인용|제목=Applied Regression Analysis|성=Draper|이름=N.R.|성2=Smith|이름2=H.|연도=1998|판=3rd|출판사=John Wiley|isbn=0-471-17082-8}}
[[분류:최소제곱법]]
[[분류:오차 및 잔차]]