보편 근사 정리 문서 원본 보기

{{위키데이터 속성 추적}}
'''보편 근사 정리'''(Universal approximation theorem)는 하나의 은닉층을 갖는 [[인공신경망]]은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 [[인공신경망]]과 모든 [[활성화 함수]]에 대해 증명된 것은 아니다.


== 사례 ==


1989년 [[조지 시벤코]](Cybenko)가 발표한 '''시벤코 정리'''(Cybenko's theorem)는 다음과 같다.

<blockquote>
<math>\varphi</math>를 [[시그모이드 함수]] 형식의 연속 함수라 하자(예, <math>\varphi(\xi) = 1/(1+e^{-\xi})</math>).
<math>[0,1]^n</math> 또는 <math>R^n</math>의 부분집합에서 실수의 연속 함수 <math>f</math>와 <math>\epsilon > 0</math>가 주어지면,
다음을 만족하는 벡터 <math>\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}</math>, <math>\mathbf{\theta}</math>와
매개 함수 <math>G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R</math>이 존재한다.
: <math>|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(x)| < |\epsilon|</math> for all <math>\mathbf{x} \in [0,1]^n</math>

이때,
: <math>G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_j\varphi(\mathbf{w}_j^T\mathbf{x} + \theta_j)</math>

이고, <math>\mathbf{w}_j \in R^n, \alpha_j, \theta_j \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),</math> <math>\mathbf{\theta} = (\theta_1, \theta_2, \dots, \theta_N)</math>이다.
</blockquote>

이 정리는 하나의 은닉층을 갖는 [[인공신경망]]은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다.
단, <math>\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha}</math>와 <math>\mathbf{\theta}</math>를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

== 같이 보기 ==
* [[푸리에 급수]]
== 참고 문헌 ==
* M. Hassoun, "[http://books.google.co.kr/books?id=Otk32Y3QkxQC&dq=&pg=PP1&ots=d88OaFxcR3&sig=_wJ7N18It-OrMIA2udd4FILRi-Q&prev=https://www.google.co.kr/search%3Fsourceid%3Dnavclient%26hl%3Dko%26ie%3DUTF-8%26rlz%3D1T4GFRI_koKR235KR236%26q%3DFundamentals%2Bof%2BArtificial%2BNeural%2BNetworks&sa=X&oi=print&ct=title Fundamentals of Artificial Neural Networks,]" MIT Press, p.48, 1995
* G. [https://web.archive.org/web/20070913062255/http://actcomm.dartmouth.edu/gvc/ Cybenko] "[https://web.archive.org/web/20110719183058/http://actcomm.dartmouth.edu/gvc/papers/approx_by_superposition.pdf Approximation by Superpositions of a Sigmoidal Function]", 1989


[[분류:해석학 정리]]
[[분류:인공신경망]]
[[분류:네트워크 아키텍처]]
[[분류:네트워크]]