활성화 함수 문서 원본 보기

{{위키데이터 속성 추적}}
{{기계 학습}}
'''활성화 함수'''(活性化函數, {{llang|en|activation function}})는 [[인공 신경망]]에서 입력을 변환하는 [[함수]]이다. [[ReLU]], [[시그모이드 함수]], [[쌍곡탄젠트]] 함수 등이 대표적인 활성화 함수이다.

인공 신경망에서 노드의 활성화 함수는 노드의 개별 입력과 가중치를 기반으로 노드의 출력을 계산하는 함수이다. 활성화 함수가 비선형인 경우 몇 개의 노드만 사용하여 사소한 문제를 해결할 수 있다.<ref>{{웹 인용|url=http://didattica.cs.unicam.it/lib/exe/fetch.php?media=didattica:magistrale:kebi:ay_1718:ke-11_neural_networks.pdf|title=Neural Networks, p. 7|last=Hinkelmann|first=Knut|website=University of Applied Sciences Northwestern Switzerland|access-date=2018-10-06|archive-date=2018-10-06|archive-url=https://web.archive.org/web/20181006235506/http://didattica.cs.unicam.it/lib/exe/fetch.php?media=didattica:magistrale:kebi:ay_1718:ke-11_neural_networks.pdf|url-status=dead}}</ref> 최신 활성화 함수에는 [[ReLU]]의 한 버전인 2018년 [[BERT]] 모델에 사용된 [[GELU]],<ref name="ReferenceA">{{ArXiv 인용|eprint=1606.08415 |title=Gaussian Error Linear Units (GELUs) |last1=Hendrycks |first1=Dan |last2=Gimpel |first2=Kevin |year=2016 |class=cs.LG}}</ref> 힌튼 등이 개발한 2012년 음성 인식 모델에 사용된 로지스틱(시그모이드) 함수,<ref>{{저널 인용|last1=Hinton |first1=Geoffrey |last2=Deng |first2=Li |last3=Deng |first3=Li |last4=Yu |first4=Dong |last5=Dahl |first5=George |last6=Mohamed |first6=Abdel-rahman |last7=Jaitly |first7=Navdeep |last8=Senior |first8=Andrew |last9=Vanhoucke |first9=Vincent |last10=Nguyen |first10=Patrick |last11=Sainath |first11=Tara|author11-link= Tara Sainath |last12=Kingsbury |first12=Brian |year=2012 |title=Deep Neural Networks for Acoustic Modeling in Speech Recognition |journal=IEEE Signal Processing Magazine |volume=29 |issue=6 |pages=82–97 |doi=10.1109/MSP.2012.2205597|s2cid=206485943 }}</ref> 2012년 AlexNet 컴퓨터에 사용된 ReLU 비전 모델과<ref>{{저널 인용|last1=Krizhevsky |first1=Alex |last2=Sutskever |first2=Ilya |last3=Hinton |first3=Geoffrey E. |date=2017-05-24 |title=ImageNet classification with deep convolutional neural networks |url=https://dl.acm.org/doi/10.1145/3065386 |journal=Communications of the ACM |language=en |volume=60 |issue=6 |pages=84–90 |doi=10.1145/3065386 |issn=0001-0782}}</ref><ref>{{저널 인용|last1=King Abdulaziz University |last2=Al-johania |first2=Norah |last3=Elrefaei |first3=Lamiaa |last4=Benha University |date=2019-06-30 |title=Dorsal Hand Vein Recognition by Convolutional Neural Networks: Feature Learning and Transfer Learning Approaches |url=http://www.inass.org/2019/2019063019.pdf |journal=International Journal of Intelligent Engineering and Systems |volume=12 |issue=3 |pages=178–191 |doi=10.22266/ijies2019.0630.19}}</ref> 2015 [[ResNet]] 모델이 포함된다.

== 개요 ==
=== 시그모이드 함수 ===
<math display="block">S(x) = \frac{1}{1 + e^{-(ax+b)}} = \frac{e^{ax+b}}{e^{ax+b} + 1}.</math>

== 같이 보기 ==
* [[함수]]

== 각주 ==
{{각주}}

{{토막글|컴퓨터 과학}}

[[분류:인공신경망]]