프로빗 회귀 모형

프로빗 함수의 형태

프로빗 회귀 모형(틀:Lang)은 종속변수가 이진 변수일 경우에 사용되는 회귀 모형 중 하나이다. 프로빗 회귀 모형은 어떤 사건이 발생할 확률을 설명하기 위한 회귀 모형으로, 정규 분포의 누적분포함수를 이용한다.

프로빗이라는 단어의 어원은 probability와 unit을 혼합하여 만든 것이다.

개요

종속 변수 Y는 1 또는 0의 값만을 가질 수 있는 이진 데이터이다. 어떤 사건이 일어나거나, 일어나지 않거나의 문제 또는 어떤 의사결정을 하거나 하지 않거나의 양자택일이 종속변수 값에 들어 있다. 확률은 반드시 폐구간 [0, 1] 안에 있어야 하므로 직선 형태의 선형 회귀로는 설명변수의 어떤 사건이 발생할 확률에 대한 영향을 설명하는 데 적절하지 않다.

프로빗 함수로는 표준정규분포 $Z\sim N(0,1)$의 누적분포함수를 이용한다. 프로빗 함수는 종속변수 Y의 값이 1이 될 확률을 의미한다.

$\mathrm{\Phi }(z)=P(Z\le z)$

프로빗 회귀 모형은 종속변수가 1이 될 확률을 예측하기 위하여 다음과 같은 형태로 모형을 설정한다.

$P(Y=1|𝐗)=\mathrm{\Phi }(𝐗\beta )=\mathrm{\Phi }({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_n{x}_n)$

한계 효과

어떤 특정한 변수가 변화할 경우 종속변수에 미치는 영향을 분석할 때는 설명변수에 대해 편미분하여 한계 효과를 분석할 수 있다. $p=P(Y=1|𝐗)$라고 할 때 설명변수의 변화가 종속변수가 1이 될 확률에 미치는 변화는 다음과 같다.

$\frac{\partial p}{\partial x_j}={\mathrm{\Phi }}^{\prime }({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_n{x}_n){\beta }_j$

$\mathrm{\Phi }$가 표준정규분포의 누적분포함수이므로 그 도함수인 ${\mathrm{\Phi }}^{\prime }$는 표준정규분포의 확률밀도함수가 된다. 결국 설명변수의 변화가 종속변수가 1이 될 확률에 미치는 영향은 표준정규분포 확률밀도함수의 ${\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_n{x}_n$에서의 함수값과 ${\beta }_j$을 곱한 것과 같다. 한계효과의 부호는 ${\beta }_j$의 부호에 따라 결정된다.

추정법

프로빗 회귀 모형을 추정할 경우에는 최우 추정법을 주로 사용한다. 종속변수의 값이 0이 될 확률은 다음과 같다.

$P(Y=0|𝐗)=1-\mathrm{\Phi }(𝐗\beta )$

$y_i=1$일 때의 단일 표본 우도는 $ℒ=\mathrm{\Phi }(X_i\beta )$이고, $y_i=0$일 때의 단일 표본 우도는 $ℒ=1-\mathrm{\Phi }(X_i\beta )$이다. 표본은 서로 독립적이므로 결합우도는 단일 표본 우도를 곱한 값이다.

$ℒ=\prod _{i=1}^n{[\mathrm{\Phi }(X_i\beta )]}^{y_i}{[1-\mathrm{\Phi }(X_i\beta )]}^{1-y_i}$

양변에 로그를 취하여 우도함수를 극대화하면 다음과 같은 함수를 극대화함으로써 회귀모형을 추정하게 된다.

$\ln ℒ=\sum _{i=1}^n(y_i\ln \mathrm{\Phi }(X_i\beta )+(1-y_i)\ln [1-\mathrm{\Phi }(X_i\beta )])$

같이 보기

• 로지스틱 회귀
• 다항 프로빗
• 서열 프로빗