단순회귀분석 문서 원본 보기

{{위키데이터 속성 추적}}
[[회귀분석]]이 연속형 변수들에 대해 [[독립 변수]]와 [[종속 변수]] 사이의 상관관계를 나타내는 것이라면, '''단순 회귀 분석'''은 독립 변수가 단일개일 때의 분석을 의미한다. <br/>
기본적인 회귀모형은, <math> y_i=\beta _0 + \beta _1 X_i + e _i </math>이다. 여기서 추정 회귀식을 구하면, <math> y _i^* = \beta _0^* + \beta _1^* X_i </math>이다.

==전제==
*독립변수는 연속형이어야한다.
*종속변수는 연속형이어야 한다.
*오차항은 정규분포를 가진다.
*오차항은 등분산을 가진다.
*오차항은 독립적이다.
*오차항은 특이치가 존재하지 않는다.

==회귀 계수의 추정==
회귀 계수를 추정하는 방법은 크게 최소제곱법(최소자승법)과 최대우도추정법 두 가지가 있다.
최소 제곱법은 <math> \sum_{i=1}^N (e_i)^2 = \sum_{i=1}^N (y_i-(\beta _0 + \beta _1 X_i))^2 </math> 식을 각각 <math> \beta _1 </math> 과 <math> \beta _0 </math> 로 각각 편미분하여 0과 같다고 놓는다.
그러면 <br/>
<math> \sum y_i=n\beta_0^* +\beta_1^* \sum x_i </math> <br/>
<math> \sum x_i y_i = \beta_0^* \sum x_i + \beta_1^* \sum x_i^2 </math> 의 식이 나타난다.
이를 정리하면 <br/>
<math> \beta_0^*=E(y)-\beta_1^*E(x) </math> <br/>
<math> \beta_1^* = {\sum_{i=1}^n (x_i-E(x))(y_i-(E(y)) \over \sum_{i=1}^n (x_i-E(x))^2 }  </math> 로 나타난다.

이 회귀계수들은 Best linear unbiased estimators로
1. 선형성을 갖는다.
2. 불편추정량이다.
3. 최소 분산성을 갖는다.

==회귀 모형의 적합 판정==
회귀 모형이 적합한지 아닌지를 판단하는 방법에는 여러 가지 방법이 있다.
먼저 회귀 계수들의 t검정 값을 통해 회귀 계수들이 유의미한 값을 갖는지 살펴보는 방법이 있다.
그리고 결정계수 <math> r^2 </math> 와 ESS(error sum of square)를 살펴보는 방법이 있다.

== 같이 보기 ==
* [[회귀 분석]]

[[분류:회귀분석]]
[[분류:추정 이론]]