잔차 제곱합

틀:위키데이터 속성 추적 통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱합(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

하나의 독립변수

독립변수가 하나인 모델에서 RSS는 다음과 같다.

$\mathrm{RSS}=\sum _{i=1}^n(y_i-f(x_i){)}^2$

여기서 y_i 는 i 번째 예측할 변수 값이고, x_i 는 i 번째 독립변수의 값이며, $f(x_i)$는 y_i 의 예측값이다( $\widehat{y_i}$ 라도도 함). 표준 선형 단순 회귀모델에서는 $y_i=\alpha +\beta x_i+{\epsilon }_i$, 여기서 $\alpha$와 $\beta$는 계수이고, y와 x는 각각 종속변수와 독립변수이고, ε는 오차이다. 잔차의 제곱합은 ${\hat{\epsilon }}_i$ 의 제곱합이며, 다음과 같다.

$\mathrm{RSS}=\sum _{i=1}^n({\hat{\epsilon }}_i{)}^2=\sum _{i=1}^n(y_i-(\hat{\alpha }+\hat{\beta }{x}_i){)}^2$

여기서 $\hat{\alpha }$는 상수 $\alpha$의 추정 값이고, $\hat{\beta }$는 기울기 계수 $\beta$의 추정 값이다.

OLS 잔차제곱합에 대한 행렬 표현식

틀:수학 변수개의 관측값과 틀:수학 변수개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.

$y=X\beta +e$

여기서 틀:수학 변수는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬 틀:수학 변수 의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다. $\beta$는 실제 계수의 k × 1 벡터이고, 틀:수학 변수는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값 $\beta$는 다음과 같다.

$X\hat{\beta }=y⟺$

$X^{\mathrm{T}}X\hat{\beta }=X^{\mathrm{T}}y⟺$

$\hat{\beta }=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y.$

잔차 벡터 $\hat{e}=y-X\hat{\beta }=y-X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y$ ; 따라서 잔차 제곱합은 다음과 같다:

$\mathrm{RSS}={\hat{e}}^{\mathrm{T}}\hat{e}=\Vert \hat{e}{\Vert }^2$ ,

(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:

$\mathrm{RSS}=y^{\mathrm{T}}y-y^{\mathrm{T}}X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y=y^{\mathrm{T}}[I-X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}]y=y^{\mathrm{T}}[I-H]y$ ,

여기서 틀:수학 변수 는 모자행렬 또는 선형회귀의 투영 행렬이다.

피어슨 상관관계와의 관계

최소제곱 회귀선은 다음과 같다.

$y=ax+b$ ,

여기서 $b=\overline{y}-a\overline{x}$ 그리고 $a=\frac{S_{xy}}{S_{xx}}$, 여기서 $S_{xy}=\sum _{i=1}^n(\overline{x}-x_i)(\overline{y}-y_i)$ 그리고 $S_{xx}=\sum _{i=1}^n(\overline{x}-x_i{)}^2.$

그러므로,

$\begin{array}{cc}\mathrm{RSS}& =\sum _{i=1}^n(y_i-f(x_i){)}^2=\sum _{i=1}^n(y_i-(a{x}_i+b){)}^2=\sum _{i=1}^n(y_i-a{x}_i-\overline{y}+a\overline{x}{)}^2\\ & =\sum _{i=1}^n(a(\overline{x}-x_i)-(\overline{y}-y_i){)}^2=a^2{S}_{xx}-2a{S}_{xy}+S_{yy}=S_{yy}-a{S}_{xy}=S_{yy}(1-\frac{S_{xy}^2}{S_{xx}{S}_{yy}})\end{array}$

여기서 $S_{yy}=\sum _{i=1}^n(\overline{y}-y_i{)}^2.$이다.

피어슨 상관관계는 다음과 같다.

$r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}};$ 그러므로, $\mathrm{RSS}=S_{yy}(1-r^2).$

추가 설명자료

• 아카이케 정보 기준#최소제곱과의 비교
• 카이제곱 분포#응용 프로그램
• 자유도(통계)#자유도와 제곱의 합
• 통계의 오차 및 잔차
• 적합성 부족 제곱합
• 평균 제곱 오차
• 카이제곱 통계량 감소, 자유도당 RSS
• 제곱 편차
• 제곱합(통계)

같이 보기

• 카이제곱 분포
• 자유도 (통계학)
• 평균 제곱 오차

참고자료

• 틀:서적 인용