최소제곱법 문서 원본 보기

{{위키데이터 속성 추적}}
{{번역 확장 필요|en|Least squares}}

[[파일:Linear least squares(2).svg|섬네일|붉은 점들을 기반으로 푸른 선의 2차 방정식 근사해를 구한다.]]

'''최소제곱법''', 또는 '''최소자승법''', '''최소제곱근사법''', '''최소자승근사법'''({{lang|en|method of least squares, least squares approximation}})은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 [[제곱의 합]](SS)이 최소가 되는 해를 구하는 방법이다.

이 방법은 값을 정확하게 측정할 수 없는 경우에 유용하게 사용될 수 있으며, 특히 그 계의 방정식이 어떤 형태인지를 알고 있을 때 [[방정식]]의 상수 값들을 추정하는 데에 사용된다.

== 문제 정의 ==

어떤 계에서 <math>n</math>개의 관측값 <math>(X_i, y_i)</math>(<math>1 \le i \le n</math>)가 있다고 가정할 때 설명변수와 종속변수간의 관계식을 추정하고자 한다. 회귀식의 설명변수는 m개가 있다고 가정한다. 설명변수 <math>x_{ij}</math>는 표본의 <math>i</math>번째 관측값의 <math>j</math>번 설명변수의 값으로 표기한다. 이 경우 회귀식은 다음과 같이 표현할 수 있다.
:<math>y_i=\beta_0 + \beta_1 x_{i1} +\beta_2 x_{i2}+ ...+\beta_m x_{im}+\epsilon</math>
이 식을 행렬의 꼴로 축약해 나타내면 다음과 같은 형태로 표현할 수 있다.
:<math>\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon}</math>
여기서 <math>\mathbf{y}</math>는 종속변수 관측값을 나타낸 벡터이고, <math>\mathbf{X}</math>는 설명변수를 모아 둔 [[디자인 행렬]]이다. <math>\boldsymbol{\beta}</math>는 모수 벡터이고, <math>\boldsymbol{\epsilon}</math>은 오차항을 모은 벡터이다. 이들을 행렬로 나타내면 다음과 같다.

:<math>\mathbf{y}=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}</math>, <math>\mathbf{X}=\begin{bmatrix} 1 && x_{11} && x_{12} && \cdots && x_{1m} \\
1 && x_{21} && x_{22} && \cdots && x_{2m} \\
\vdots && \vdots && \vdots && \cdots && \vdots \\
1 && x_{n1} && x_{n2} && \cdots && x_{nm} \\
\end{bmatrix}</math>, <math>\boldsymbol{\beta}=\begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_m \end{bmatrix}</math>, <math>\boldsymbol{\epsilon}=\begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{bmatrix}</math>

오차항의 제곱합 <math>S(\boldsymbol{\beta})=\sum_i \left[y_i - (\beta_0 + \beta_1 x_{i1} +\beta_2 x_{i2}+ ...+\beta_m x_{im})\right]^2</math>
의 값을 최소로 만드는 <math>\boldsymbol \beta</math>를 구하는 것이 문제의 목표이다.

== 선형 최소제곱법 ==
{{mvar|x}}에 대응하는 {{mvar|y}}의 자료들이 있다고 할 때, 여기에 맞는 일차방정식은 <math>y = ax + b</math>이다. 여기서 {{mvar|a, b}}의 값을 알기 위해선 다음의 '정규방정식(normal equation)'을 연립한다.

: <math>a \sum x^2 + b \sum x = \sum xy</math>

: <math>a \sum x + bn = \sum y</math>

== 응용 ==
{{본문|급수 (상하수도 공학)#최소제곱법에 의한 방법}}

[[상수도]] 시설의 규모를 결정할 때 해당 상수도를 이용하게 될 도시의 장래 인구수를 추정해야 한다. 여러 가지 추정법 중 하나가 최소제곱법을 이용한 방법이다. 장래 인구수는 과거의 인구 통계자료를 가지고 연도에 따른 인구수의 방정식을 먼저 구한 뒤, 이를 이용해 계산하여 구한다.

n개의 연도와 인구 수 자료가 있다고 하자.
{| class="wikitable"
|+
!연도
!인구 수
|-
|''x''<sub>1</sub>
|''y''<sub>1</sub>
|-
|''x''<sub>2</sub>
|''y''<sub>2</sub>
|-
|…
|…
|-
|''x<sub>n</sub>''
|''y<sub>n</sub>''
|}
구하고자 하는 방정식은 <math>y = ax + b</math>이다. 상수 {{mvar|a, b}}값을 안다면, 장래의 연도 {{mvar|x}}를 대입했을 때 장래 인구 수 {{mvar|y}}를 알 수 있을 것이다. {{mvar|a, b}}는 다음으로 계산한다.

: <math>a = \frac{n \Sigma XY - \Sigma X \Sigma Y}{n \Sigma X^2 - \Sigma X \Sigma X} </math>

: <math>b = \frac{\Sigma X^2 \Sigma Y - \Sigma X \Sigma XY}{n \Sigma X^2 - \Sigma X \Sigma X} </math>

예를 들어 1990년부터 1996년까지 기록된 인구 자료가 다음과 같다고 하자.
{| class="wikitable"
|+
!연도
!인구(Y)
|-
|1990
|177800
|-
|1991
|182500
|-
|1992
|187000
|-
|1993
|192300
|-
|1994
|194500
|-
|1995
|199200
|-
|1996
|203700
|}
계산의 편의를 위해 연도를 다음과 같이 치환한다.
{| class="wikitable"
!연도(X)
!인구(Y)
|-
| -3
|177800
|-
| -2
|182500
|-
| -1
|187000
|-
|0
|192300
|-
|1
|194500
|-
|2
|199200
|-
|3
|203700
|}
정규방정식에 필요한 값들을 계산하면

: <math>\sum X^2 = (9 + 4 + 1) \times 2 = 28</math>

: <math>\sum X = 0</math>

: <math>\sum XY = 118600</math>

: <math>\sum Y = 1337000</math>

정규방정식에 이 값들을 대입하면 a, b를 알 수 있다.

: <math>a \times 28 = 118600</math>

: <math>b \times 7 = 1337000</math>

: <math>\begin{align} \therefore Y & = aX + b \\
 & = 4235.714 X + 191000 \\ \end{align}</math>

1993년이 <math>X=0</math>으로 되었으므로 2000년은 <math>X = 7</math>을 대입하여 계산한다. 따라서 2000년의 인구 수는 220,650명으로 예측할 수 있다.

== 같이 보기 ==
* [[가우스-마르코프 정리]]
* [[제곱평균제곱근]]
== 참고 문헌 ==
{{위키공용분류}}
* {{서적 인용|성1=김동희 외 7인 |제목=통계학: 이론과 응용 |날짜=2008 |출판사=자유아카데미 |isbn=978-89-7338-671-0 |판=3}}
* {{서적 인용|제목=상하수도 공학|날짜=|성=이종형 외|이름=|출판사=구미서관|쪽=24|판=5|장=}}
* {{서적 인용|제목=이공학도를 위한 수치해석|날짜=|성=Kharab, Guenther|이름=|출판사=학산미디어|쪽=|판=3|장=}}
* {{서적 인용|성1=Hill|이름1=R. Carter|성2=Griffiths|이름2=William E.|성3=Lim|이름3=Guay C. |제목=Principles of Econometrics|번역제목=계량경제학 |날짜=2010 |출판사=시그마프레스 |isbn=978-89-5832-785-1 |판=3}}

== 외부 링크 ==
* {{네이버캐스트|3352}}
* [https://web.archive.org/web/20050223064848/http://cc.kangwon.ac.kr/~sslee/history/least.htm 최소 제곱법의 발견]
{{전거 통제}}

[[분류:최소제곱법| ]]
[[분류:회귀분석]]
[[분류:수학적 최적화]]
[[분류:통계학]]
[[분류:최적화 알고리즘]]