보편 근사 정리

틀:위키데이터 속성 추적 보편 근사 정리(Universal approximation theorem)는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 인공신경망과 모든 활성화 함수에 대해 증명된 것은 아니다.

사례

1989년 조지 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

$\phi$를 시그모이드 함수 형식의 연속 함수라 하자(예, $\phi (\xi )=1/(1+e^{-\xi })$). $[0,1{]}^n$ 또는 $R^n$의 부분집합에서 실수의 연속 함수 $f$와 $ϵ>0$가 주어지면, 다음을 만족하는 벡터 ${𝐰}_{\mathrm{𝟏}},{𝐰}_{\mathrm{𝟐}},\dots ,{𝐰}_{𝐍},\mathit{\alpha }$, $\mathit{\theta }$와 매개 함수 $G(\mathbf{\cdot },𝐰,\mathit{\alpha },\mathit{\theta }):[0,1{]}^n\to R$이 존재한다.

$|G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })-f(x)|<|ϵ|$ for all $𝐱\in [0,1{]}^n$

이때,

$G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })=\sum _{i=1}^N{\alpha }_j\phi ({𝐰}_j^T𝐱+{\theta }_j)$

이고, ${𝐰}_j\in R^n,{\alpha }_j,{\theta }_j\in R,𝐰=({𝐰}_1,{𝐰}_2,\dots {𝐰}_N),\mathit{\alpha }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N),$ $\mathit{\theta }=({\theta }_1,{\theta }_2,\dots ,{\theta }_N)$이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다. 단, ${𝐰}_1,{𝐰}_2,\dots ,{𝐰}_N,\mathit{\alpha }$와 $\mathit{\theta }$를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

같이 보기

• 푸리에 급수

참고 문헌

• M. Hassoun, "Fundamentals of Artificial Neural Networks," MIT Press, p.48, 1995
• G. Cybenko "Approximation by Superpositions of a Sigmoidal Function", 1989