선형 분류 문서 원본 보기

{{위키데이터 속성 추적}}
[[기계 학습]] 분야에서 [[통계적 분류]]는 개체의 속성을 이용하여 그 개체가 속하는 그룹, 또는 클래스를 판별하는 것을 목표로 한다. '''선형 분류'''에서는 주어진 속성의 [[선형결합]]을 바탕으로 분류를 수행한다. 개체의 속성은 [[피처 (기계 학습)|피처 값]]이라고 부르기도 하는데, 보통 [[피쳐 벡터]]라는 벡터 형태로 제공한다.

== 정의 ==
[[파일:Svm separating hyperplanes.png|섬네일|오른쪽|여기에서 검은 점과 흰 점은 무수히 많은 직선으로 분류할 수 있다. 예를 들어 H1(파란색)과 H2(빨간색) 모두 이 두 점 그룹을 올바르게 분류하는 직선이다. 이 둘 중에서 H2가 양쪽 그룹으로부터 더 멀리 있기 때문에 더 낫다고 할 수 있다. H3(녹색)는 두 부류의 점들을 제대로 분류하지 못한다.]]

분류기에 [[실수|실]]벡터 <math>\vec x</math>가 피쳐 벡터로 주어졌다고 할 때, 다음과 같이 점수를 매길 수 있다.

:<math>y = f(\vec{w}\cdot\vec{x}) = f\left(\sum_j w_j x_j\right),</math>

이 때 <math>\vec w</math>는 가중치를 나타내는 실벡터이며, ''f''는 두 벡터의 [[스칼라곱]]을 원하는 값으로 변환하는 함수이다. (바꿔 말하자면, <math>\vec w</math>는 <math>\vec x</math>를 '''R'''로 보내는 [[1형식]] 또는 [[선형 범함수]]이다.) 가중치 벡터 <math>\vec w</math>는 레이블이 있는 훈련용 표본으로부터 학습을 통해 구한다. ''f''는 어떤 문턱값을 넘으면 첫 번째 클래스로, 그렇지 않으면 두 번째 클래스로 대응시키는 식으로 간단하게 만들 수도 있는 반면 어떤 항목이 특정 클래스에 속할 확률을 계산하는 식으로 복잡하게 만들 수도 있다.

2차원 분류 문제에서는 선형 분류 연산을 고차원 입력공간을 어떤 [[초평면]]으로 가르는 작업으로 시각화할 수 있다. 초평면의 한 쪽에 있는 점은 “예”로, 반대쪽에 있는 점은 “아니오”로 나누는 것처럼 말이다.

선형 분류는 가장 빠른 분류 방법 중 하나기 때문에 분류 속도가 중요한 상황에서 많이 사용한다. 특히 <math>\vec x </math>가 성긴 경우에 많이 쓰인다. <math>\vec x </math>가 고차원 벡터인 경우에도 선형 분류를 많이 쓰는데, 예를 들어 [[문서 분류]]의 경우에 <math>\vec x </math>의 각 원소는 보통 문서에 들어있는 특정 단어의 사용 회수로 주어진다. ([[문서-단어 행렬]] 참조) 그런 경우에는 분류기가 잘 정칙화되어 있어야 한다.


== 같이 보기 ==
* [[Winnow (algorithm)]]
* [[이차 분류]]
* [[서포트 벡터 머신]]


더 보기:
# Y. Yang, X. Liu, "A re-examination of text categorization", Proc. ACM SIGIR Conference, pp.&nbsp;42–49, (1999). [http://citeseer.ist.psu.edu/yang99reexamination.html paper @ citeseer]
# R. Herbrich, "Learning Kernel Classifiers: Theory and Algorithms," MIT Press, (2001). {{ISBN|0-262-08306-X}}

[[분류:분류 알고리즘]]
[[분류:통계적 분류]]