카파 상관계수

틀:위키데이터 속성 추적 일반적으로 카파 상관계수는 코헨(Cohen)의 카파 상관계수(Kappa)를 가리키며 이는 2명의 관찰자(또는 평가자)의 신뢰도를 확보하기위한 확률로서 평가지표로 사용되는 상관계수이다. 2명이상에서 신뢰도를 얻기위해서는 플레이스 카파 상관계수(Fleiss' kappa)를 사용할 수 있다.

$K_C=\frac{p_o-p_e}{1-p_e}$

예

조건

평가자		B
		긍정(Yes)	부정(No)
A	긍정(Yes)	a	b
	부정(No)	c	d

예시

평가자		B
		긍정	부정
A	긍정	20	5
	부정	10	15

관찰된 동의할 경우의 비례값 Po는 다음과 같다.

$p_o=\frac{a+d}{a+b+c+d}=\frac{20+15}{50}=0.7$

틀:Mvar인 확율값(the probability of random agreement)을 계산하기 위해서

$\frac{a+b}{a+b+c+d}=0.5$

평가자 A 의 긍정 확율값은 50% 이고

$\frac{a+c}{a+b+c+d}=0.6$

평가자 B 의 긍정 확율값은 60%이다.

$\frac{c+d}{a+b+c+d}=0.5$

평가자 A 의 부정 확율값은 50% 이고

$\frac{b+d}{a+b+c+d}=0.4$

평가자 B 의 부정 확율값은 40%이다.

따라서

$p_{\text{Yes}}=\frac{a+b}{a+b+c+d}\cdot \frac{a+c}{a+b+c+d}=0.5\times 0.6=0.3$

$p_{\text{No}}=\frac{c+d}{a+b+c+d}\cdot \frac{b+d}{a+b+c+d}=0.5\times 0.4=0.2$

따라서 이 경우 계산되는 전반적인 임의 동의 확률은 '긍정' 또는 '부정'에 동의한 확률값이다. 즉

$p_e=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5$

이때 코헨(Cohen)의 카파 상관계수(Kappa) KC는

$K_C=\frac{p_o-p_e}{1-p_e}=\frac{0.7-0.5}{1-0.5}=0.4$

이다.

변형

$K_C=\frac{p_o-p_e}{1-p_e}=1-\frac{1-p_o}{1-p_e}$

Pe=0일때

$K_C=\frac{p_o-p_e}{1-p_e}=\frac{p_o-0}{1-0}=\frac{p_o}{1}=p_o$

Po=0일때

$K_C=\frac{p_o-p_e}{1-p_e}=\frac{0-p_e}{1-p_e}=\frac{p_e}{p_e-1}$은 Pe가 클수록 1에 가까워지며

Pe가 작을수록 0에 가까워진다.

같이 보기

• 파이 계수
• 신뢰 구간
• 검사 타당도

각주

• 서울대학교 보건대학원-학위논문-진단법의 신뢰도 및 대체가능성 평가방법과 직관적인 수치를 이용한 대상수 산출