특잇값

유클리드 공간 위의 선형 변환은 단위 공을 타원체로 대응시키며, 선형 변환의 특잇값들은 타원체의 주축 반지름들이다.

함수해석학에서 특잇값(特異값, 틀:Llang)은 콤팩트 작용소와 그 에르미트 수반의 합성의 고윳값의 제곱근이다. 항상 양의 실수이다. 이를 통해, 임의의 콤팩트 작용소를 특잇값 분해(特異값分解, 틀:Llang, 약자 SVD)라는 특별한 꼴로 표현할 수 있다.

고윳값과 달리, 특잇값은 서로 다른 (특히, 서로 다른 차원의) 힐베르트 공간 사이의 작용소(예를 들어, 정사각이 아닌 행렬)에 대해서도 정의된다. 고윳값에 고유 벡터가 대응되는 것과 마찬가지로, 각 특잇값에는 왼쪽 특이 벡터(왼쪽特異vector, 틀:Llang) 및 오른쪽 특이 벡터(오른쪽特異vector, 틀:Llang)가 대응된다. 그러나 고유 벡터의 경우와 달리 특이 벡터는 좌우를 구별해야 한다.

정의

$𝕂\in \{ℝ,ℂ\}$가 실수체 또는 복소수체라고 하자. 두 $𝕂$-힐베르트 공간 $V$, $W$ 사이의 콤팩트 작용소

$T:V\to W$

의 특잇값 및 왼쪽·오른쪽 특이 벡터의 개념은 다양한 방법으로 정의될 수 있다.

고윳값을 통한 정의

두 $𝕂$-힐베르트 공간 $V$, $W$ 사이의 콤팩트 작용소

$T:V\to W$

가 주어졌다고 하자. 그렇다면, 그 에르미트 수반

$T^{*}:W\to V$

을 사용하여, 작용소

$T^{*}T:V\to V$

및

$T{T}^{*}:W\to W$

를 정의할 수 있다. 이들은 자기 수반 작용소를 이루며, 따라서 이 둘의 실수 고윳값들을 정의할 수 있다. 이들은 항상 음이 아닌 실수이다.

$T{T}^{*}$와 $T^{*}T$의 고윳값들 가운데, 0이 아닌 것들은 서로 일치하며, 그 중복수 또한 일치한다. 0의 경우, 다음과 같은 세 가지가 가능하다.

• 경우 1: $T{T}^{*}$와 $T^{*}T$ 둘 다 0을 고윳값으로 갖거나 둘 다 0을 고윳값으로 갖지 않는다. 전자의 경우, 0의 중복수 역시 같다.
• 경우 2: $T{T}^{*}$와 $T^{*}T$ 둘 다 0을 고윳값으로 갖지만, 그 중복수가 서로 다르다.
• 경우 3: $T{T}^{*}$와 $T^{*}T$ 가운데 하나는 0을 고윳값으로 갖지만 다른 하나는 0을 고윳값으로 갖지 않는다.

이 경우, 특잇값들과 그 중복수는 각각 다음과 같다.

• 경우 1: $T$의 특잇값은 $T^{*}T$ 또는 $T{T}^{*}$의 고윳값들의 제곱근들이며, 그 중복수는 고윳값들의 중복수와 같다.
• 경우 2: $T$의 특잇값은 (0을 포함하여) $T^{*}T$ 또는 $T{T}^{*}$의 고윳값들의 제곱근들이다. 0이 아닌 고윳값의 경우, 그 중복수는 대응하는 고윳값의 중복수와 같다. 0의 경우, 그 중복수는 $T^{*}T$에서의 중복수와 $T{T}^{*}$에서의 중복수 가운데 더 작은 것과 같다.
• 경우 3: $T$의 특잇값은 $T^{*}T$ 또는 $T{T}^{*}$의 고윳값들 가운데 0이 아닌 것들의 제곱근이며, 그 중복수는 고윳값들의 중복수와 같다.

이 경우, 주어진 특잇값에 대응하는 왼쪽 특이 벡터는 $T^{*}T$에서의 고유 벡터이며, 주어진 특잇값에 대응하는 오른쪽 특이 벡터는 $T{T}^{*}$에서의 고유 벡터이다.

특잇값 분해를 통한 정의

$𝕂\in \{ℝ,ℂ\}$라고 하자. 두 $𝕂$-힐베르트 공간 $V$, $W$ 사이의 콤팩트 작용소

$T:V\to W$

는 항상 다음과 같은 꼴로 표현될 수 있으며, 이를 슈미트 표현(Schmidt表現, 틀:Llang)틀:Rp 또는 특잇값 분해라고 한다.

$T=\sum _{0\le i<N}{s}_i⟨v_i,-⟩w_i$

여기서

• $N\in \{0,1,\dots ,\mathrm{\infty }\}$이다.
• $(s{)}_{0\le i<N}$는 양의 실수들의 수열이며, 감소수열이다. 즉, ${\lambda }_0\ge {\lambda }_1\ge {\lambda }_2\ge \cdots$이다.
• $(v_i{)}_{0\le i<N}$은 $V$ 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.)
• $(w_i{)}_{0\le i<N}$은 $W$ 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.)

이 경우, $s_i$를 $T$의 특잇값이라고 하며, $v_i$를 $s_i$의 왼쪽 특이 벡터, $w_i$를 $s_i$의 오른쪽 특이 벡터라고 한다.

이에 따라, $(v_i{)}_{0\le i<N}$ 및 $(w_i{)}_{0\le i<N}$에 다른 벡터들을 추가하여 각각 $V$ 및 $W$의 정규 직교 기저로 만들 수 있다. 그러나 이는 물론 일반적으로 유일하지 않다.

유한 차원의 경우

특히, 만약 $V={𝕂}^m$, $W={𝕂}^n$가 유한 차원 힐베르트 공간일 경우, 임의의 $𝕂$성분 $n\times m$ 행렬 $T\in \mathrm{Mat}(n,m;𝕂)$는 $𝕂$-선형 변환

$T:{𝕂}^m\to {𝕂}^n$

을 정의한다. 유한 차원에서는 모든 작용소가 콤팩트 작용소이다.

이 경우, 만약 벡터 $v\in {𝕂}^m$과 $w\in {𝕂}^n$과 음이 아닌 실수 $s\in {ℝ}_{\ge 0}$에 대하여

$Tv=sw$

$T^{*}w=sv$

가 성립한다면, $s$를 $T$의 특잇값이라고 하며, $v$를 $s$에 대응하는 왼쪽 특이 벡터, $u$를 $s$에 대응하는 오른쪽 특이 벡터라고 한다.

유한 차원의 경우, 특잇값 분해는 다음과 같은 행렬 분해를 정의한다.

$T=U\mathrm{\Sigma }{V}^{*}$

여기서

• $U$는 $m\times m$ 크기의 유니터리 행렬이다. ($𝕂=ℝ$일 경우 이는 직교 행렬과 같다.)
• $\mathrm{\Sigma }$는 $m\times n$ 크기의 대각 행렬이며, 그 성분들은 모두 음이 아닌 실수이다. 즉, 예를 들어 $m<n$이라면 다음과 같은 꼴이다.

  $\mathrm{\Sigma }=\left(\begin{array}{cccccccc}{s}_1& 0& 0& \cdots & 0& 0& \cdots & 0\\ 0& s_2& 0& \cdots & 0& 0& \cdots & 0\\ 0& 0& s_3& & & 0& \cdots & 0\\ ⋮& ⋮& & \ddots & & ⋮& & ⋮\\ 0& 0& & & s_m& 0& \cdots & 0\end{array}\right)$

• $V^{*}$는 $n\times n$ 크기의 유니터리 행렬이다. ($𝕂=ℝ$일 경우 이는 직교 행렬과 같다.)

이 경우, $\mathrm{\Sigma }$의 대각 성분들이 $T$의 특잇값들이며, $V^{*}$의 열벡터(=$V$의 행벡터)들이 $T$의 왼쪽 특이 벡터들이며, $U$의 행벡터들이 $T$의 오른쪽 특이 벡터들이다.

특잇값 분해에서, $\mathrm{\Sigma }$는 (특잇값들의 순열을 무시하면) 유일하게 결정되지만, $U$와 $V^{*}$는 일반적으로 그렇지 않다.

기하학적 정의

같은 유한 차원의 두 실수 힐베르트 공간(=유클리드 공간) 사이의 실수 선형 변환의 특잇값들은 기하학적으로 해석될 수 있다.

구체적으로, 임의의 실수 선형 변환 $T:{ℝ}^n\to {ℝ}^n$은 (자명하게) 콤팩트 작용소이며, 이 경우 $T$는 단위 공을 타원체로 대응시킨다. 이 경우, $T$의 특잇값들은 이 타원체의 주축 반지름들과 같다.

성질

두 힐베르트 공간 사이의 콤팩트 작용소 $T$의 특잇값 가운데 최대인 것은 $T$의 작용소 노름과 같다.

특잇값의 수

$m\times n$ 행렬은 (중복수를 포함하여) $\min \{m,n\}$개의 특잇값들을 갖는다. 여기서, 특잇값들은 중복될 수 있다. 즉, 모든 $\min \{m,n\}$개의 특잇값들이 죄다 같을 수 있다.

고윳값과의 관계

만약 $T:V\to V$가 $𝕂$-힐베르트 공간 $V$ 전체에 정의된 콤팩트 자기 수반 작용소일 경우, $T$ 특잇값들은 $T$의 고윳값들의 절댓값들이며, 각 특잇값에 대응하는 특이 벡터는 고유 벡터이다.

예

다음과 같은 실수 4×5 행렬을 생각하자.

$T=\left(\begin{array}{ccccc}1& 0& 0& 0& 2\\ 0& 0& 3& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 4& 0& 0& 0\end{array}\right)$

이 행렬의 특잇값 분해 $T=U\mathrm{\Sigma }{V}^{*}$는 다음과 같다.

$T=\left(\begin{array}{cccc}0& 0& 1& 0\\ 0& 1& 0& 0\\ 0& 0& 0& -1\\ 1& 0& 0& 0\end{array}\right)\left(\begin{array}{ccccc}4& 0& 0& 0& 0\\ 0& 3& 0& 0& 0\\ 0& 0& \sqrt{5}& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right)\left(\begin{array}{ccccc}0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 1/\sqrt{5}& 0& 0& 0& 2/\sqrt{5}\\ 0& 0& 0& 1& 0\\ -2/\sqrt{5}& 0& 0& 0& 1/\sqrt{5}\end{array}\right)$

즉, $T$의 특잇값들은 가운데 행렬에서 붉게 표시된 성분들인 $4,3,\sqrt{5},0$이다.

특잇값 분해는 유일하지 않다. 예를 들어, 위와 같은 분해에서, 마지막 인자 $V^{*}$를

$V^{*}=\left(\begin{array}{ccccc}0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 1/\sqrt{5}& 0& 0& 0& 2/\sqrt{5}\\ \sqrt{2/5}& 0& 0& 1/\sqrt{2}& -1/\sqrt{10}\\ -\sqrt{2/5}& 0& 0& 1/\sqrt{2}& 1/\sqrt{10}\end{array}\right)$

로 교체할 수도 있다.

역사

특잇값의 개념은 에르하르트 슈미트가 1907년에 도입하였다. 슈미트는 특잇값을 "고윳값"(틀:Llang)이라고 일컬었으나, 이후 1937년에 프랭크 스미디스(틀:Llang, 1912~2002)가 "특잇값"(틀:Llang)이라는 용어를 도입하였다.

응용

틀:참고 행렬의 특잇값 분해는 신호 처리와 통계학 등의 분야에서 자주 사용된다. 특히, 통계학에서 특잇값 분해를 통한 분석은 주성분 분석이라고 불린다.

같이 보기

• 조건수
• 슈어-혼 정리
• 특잇값 분해

외부 링크

• 틀:매스월드
• 틀:매스월드
• 틀:웹 인용