교차 엔트로피

틀:위키데이터 속성 추적 정보이론에서 교차 엔트로피란, 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다.

정의

동일한 이벤트 공간의 두 분포 p와 q 사이의 교차 엔트로피는 다음과 같이 정의된다.

$H(p,q)={\mathrm{E}}_p[-\log q]$

같이 보기

• 로지스틱 회귀
• 최대가능도 방법
• 상호의존정보