추정량

틀:위키데이터 속성 추적 통계학에서 추정량(推定量, 틀:Llang)은 표집값들로부터 모수의 값을 추정하는 방법이다.

정의

확률변수 $X : P \to 𝒳$ 가 모수 $θ \in Θ$ 를 가지는 분포를 따른다고 하자. 그렇다면 모수 $θ$ 의 추정량 $\hat{θ} : 𝒳 \to Θ$ 은 임의의 가측 함수이다.

모수 공간 $Θ$ 와 표본 공간 $𝒳$ 둘 다 유클리드 공간의 부분공간으로 간주하자.

표본 $x \in 𝒳$ 에 대한, 모수 $θ$ 의 추정량 $\hat{θ}$ 의 오차(틀:Llang)는 다음과 같다.

ℰ_{\hat{θ}} (x) = \hat{θ} (x) - θ

모수 $θ$ 의 추정량 $\hat{θ}$ 의 편향(틀:Llang)은 그 오차의 기댓값이다.

B (\hat{θ}) = E (\hat{θ} (X) - θ)

모수 $θ$ 의 불편추정량(틀:Llang) $\hat{θ}$ 은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다.

E (\hat{θ} (X)) = θ

추정량 $\hat{θ}$ 의 누적평균제곱오차(틀:Llang)는 오차의 제곱들의 기댓값이다.

MSE (\hat{θ}) = E [(\hat{θ} (X) - θ)^{2}]

표본 $x \in 𝒳$ 에 대한, 모수 $θ$ 의 추정량 $\hat{θ}$ 의 표본편차(틀:Llang)는 다음과 같다.

d (x) = \hat{θ} (x) - E (\hat{θ} (X)) = \hat{θ} (x) - E (\hat{θ})

모수 $θ$ 의 추정량 $\hat{θ}$ 의 분산(틀:Llang)은 표본편차의 제곱의 기댓값이다.

var (\hat{θ}) = E (\hat{θ} (X)^{2}) - E (\hat{θ} (X))^{2}

모수 $θ$ 의 추정량 $\hat{θ}$ 의 효율(틀:Llang)은 다음과 같다.

e (\hat{θ}) = \frac{1}{ℐ_{X} (θ) var (\hat{θ})}

여기서 $ℐ_{X} (θ)$ 는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다.

e (\hat{θ}) \leq 1

효율이 1인 추정량을 최대효율추정량(틀:Llang)이라고 한다.

모수 $θ$ 의 약한 일치추정량(틀:Llang)은 다음 성질을 만족시키는 추정량들의 열 ${{\hat{θ}}_{n}}$ 이다. 모든 $ϵ > 0$ 에 대하여,

\lim_{n \to \infty} \Pr (| {\hat{θ}}_{n} (X) - θ | < ϵ) = 1

모수 $θ$ 의 강한 일치추정량(틀:Llang)은 다음 성질을 만족시키는 추정량들의 열 ${{\hat{θ}}_{n}}$ 이다.

n \to \infty

이면

{\hat{θ}}_{n} \to θ

모수 $θ$ 의 점근적 정규 추정량(틀:Llang)은 다음 성질을 만족시키는 추정량들의 열 ${{\hat{θ}}_{n}}$ 이다. 어떤 $V \in ℝ^{+}$ 에 대하여,

\sqrt{n} ({\hat{θ}}_{n} - θ) \overset{D}{\to} 𝒩 (0, V)

여기서 $\overset{D}{\to}$ 는 확률변수의 분포수렴이며, $𝒩 (0, V)$ 는 평균이 0이고 분산이 $V$ 인 정규분포이다.