시그모이드 함수

로지스틱 곡선

오류 함수 곡선

시그모이드 함수는 S자형 곡선 또는 시그모이드 곡선을 갖는 수학 함수이다. 시그모이드 함수의 예시로는 첫 번째 그림에 표시된 로지스틱 함수가 있으며 다음 수식으로 정의된다.

$$S(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}.$$

다른 시그모이드 함수들은 예시 하위 문단에 제시되어있다 참고하기를 바란다.

시그모이드 함수는 실수 전체를 정의역으로 가지며, 반환값은 단조증가하는 것이 일반적이지만 단조감소할 수도 있다. 시그모이드 함수의 반환값(y축)은 흔히 0에서 1까지의 범위를 가진다. 또는 -1부터 1까지의 범위를 가지기도 한다.

여러 종류의 시그모이드 함수는 인공 뉴런의 활성화 함수로 사용되었다. 통계학에서도 로지스틱 분포, 정규 분포, 스튜던트 t 분포 등의 누적 분포 함수로 시그모이드 곡선이 자주 등장한다. 시그모이드 함수는 가역 함수로, 그 역은 로짓 함수다.

정의

시그모이드 함수는 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다.

성질

일반적으로 시그모이드함수는 단조함수이며 종 모양의 1차 미분 그래프를 가진다. 시그모이드 함수는 $x\to \pm \mathrm{\infty }$일 때, 한 쌍의 수평 점근선으로 수렴한다. 시그모이드 함수는 0보다 작은 값에서 볼록하고 0보다 큰 값에서 오목하다.

예시

일부 시그모이드 함수에 대한 비교. 그림에서 모든 함수는 원점에서의 기울기가 1이 되도록 정규화됨.

• 로지스틱 함수

$f(x)=\frac{1}{1+e^{-x}}$

• 쌍곡탄젠트 (위의 로지스틱 함수를 평행이동하고 상수를 곱한 것과 같음)

$f(x)=\tanh x=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

• 아크탄젠트 함수

$f(x)=\arctan x$

• 오차 함수

$f(x)=\mathrm{erf}(x)=\frac{2}{\sqrt{\pi }}\underset{0}{\overset{x}{\int }}{e}^{-t^2}dt$

• 일부 대수함수, 예를 들어:

$f(x)=\frac{x}{\sqrt{1+x^2}}$

연속적이고 음이 아닌 "범프 모양"함수의 적분은 S자형이므로, 많은 일반적인 확률 분포에 대한 누적 분포 함수역시 S자형이다. 한 가지 예가 정규 분포의 누적 분포 함수와 관련된 오류 함수이다.

응용

밀 수확량과 토양 염분 사이의 관계를 모델링 한 역 시그모이드 곡선.

학습 곡선과 같은 여러 자연적인 현상은 작은 값에서 시작하여 시간이 지남에 따라 가속화하였다가 절정에 근접하는 모습을 보인다. 구체적인 수학적 모델이 없을 때 시그모이드 함수가 자주 사용된다.

인공 신경망에서는 가끔 효율을 높이기 위해 매끈하지 않은 하드 시그모이드 함수들이 사용된다.

같이 보기

• 활성함수
• 누적 분포 함수
• 일반화 로지스틱 함수
• 곰퍼츠 함수
• 단위 계단 함수
• 쌍곡선 함수
• 로지스틱 분포
• 로지스틱 함수
• 로지스틱 회귀
• 로짓
• ReLU 함수
• 스무스스텝(Smoothstep) 함수
• 소프트맥스 함수
• 베이불 분포
• 페르미-디랙 통계

참고 문헌

• 틀:서적 인용. In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
• 틀:웹 인용 Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.