시그모이드 함수 수식

 

 

 

시그모이드 함수(Sigmoid ) 이진 분류 모델에서 활성화 함수로 사용된다.

\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]

이 함수는 확률을 모델링하는 데  0과 1 사이의 값을 가진다.
 \( e^{-x} \)는 양수인데, \( x \)가 음수일 때는 \( e^{-x} \)가 1에 가까워지고, \( x \)가 양수로 커질수록 \( e^{-x} \)가 0에 가까워진다.

 

지수 함수는 형태가 \( e^x \)인 함수로, \( e \)는 자연 상수이며 약 2.71828의 값을 가지고 \( x \)가 증가함에 따라 빠르게 증가한다. \( e^{-x} \)는  \( x \)가 증가함에 따라 감소하는 함수이다.
   
 \( e^{-x} \)는 \( e^x \)의 역수이며, \( e^x \)는 항상 양수이기 때문에 \( e^{-x} \) 함수는 항상 양수이다.  항상 양수 값을 가진다는 것은 지수 함수의 본질이고 \(e^x\)는 거듭제곱의 연속적인 곱셈으로 표현할 수 있다.

     \[
     e^x = \lim_{n \to \infty} \left(1 + \frac{x}{n}\right)^n
     \]
  \(n\)이 무한대로 갈 때, \(\left(1 + \frac{x}{n}\right)^n\)은 항상 양수이므로 그 극한인 \(e^x\) 역시 양수이다.

 

또, 지수 함수 \(e^x\)의 도함수는 \(e^x\) 자신이다.
     \[
     \frac{d}{dx} e^x = e^x
     \]
     이는 \(e^x\)가 항상 양수임을 보여준다. 왜냐하면 \(e^x\)는 실수 전체에 걸쳐 증가하는 함수이기 때문이고 양수인 함수가 자신의 도함수인 경우, 그 함수는 음수 값이 될 수 없다. 두 실수 \(x_1\)과 \(x_2\)가 있을 때, \(x_1 < x_2\)이면 \(e^{x_1}\)의 값이 \(e^{x_2}\)의 값보다 작기 때문에  \(e^x\)는 \(x\)가 증가할수록 함수의 값도 증가함을 알 수 있다.

 

따라서 입력 \( x \)가 음수일 때는 분모가 크고 함수 값은 0에 가깝게, 양수일 때는 분모가 작아지고 함수 값은 1에 가까워 진다. 그 미분값도 0에서 1 사이에 있어서 역전파 과정에서 기울기 소실 문제(vanishing gradient problem)가 상대적으로 덜 심각하게 나타난다.


지수 함수의 주어진 성질들을 통해 시그모이드 함수의 특징과 동작 방식을 이해할 수 있다.

 

 

 

 S자형 곡선 (S-shaped curve)

시그모이드 함수는 \(x\)에 대해 S자형 곡선을 가진다. 함수의 그래프가 아래쪽에서 시작하여 중앙을 지나 위쪽으로 가는 형태를 띠고 그래프를 그려보면, 작은 \(x\) 값에서는 함수 값이 거의 0에 가깝고, 큰 \(x\) 값에서는 함수 값이 거의 1에 가깝다. 가운데에서는 기울기가 가장 가파르게 변화하며, 이 점을 기준으로 위아래로 점점 평평해진다.

 

 

 

 출력값의 범위 (Output range)

시그모이드 함수의 출력값은 항상 0과 1 사이에 있다. 어떤 입력 \( x \)에 대해서도, \( \sigma(x) \)는 

\[ 0 < \sigma(x) < 1 \]  의 범위를 만족한다.

 

 

 

 특정 점에서의 값

- **\(x = 0\)일 때, \(\sigma(0) = 0.5\)**:
  \[ \sigma(0) = \frac{1}{1 + e^0} = \frac{1}{2} = 0.5 \]
이것은 시그모이드 함수가 대칭적이라는 것을 의미하며, 입력이 0일 때 출력이 정확히 0.5가 된다.

 극한에서의 동작 (Behavior at extremes)

- **\(x \to \infty\)일 때, \(\sigma(x) \to 1\)**:
  \[ \lim_{x \to \infty} \sigma(x) = \lim_{x \to \infty} \frac{1}{1 + e^{-x}} = 1 \]
  이는 \( x \)가 매우 큰 양수일 때, \( e^{-x} \)가 0에 가까워지므로 분모가 1에 가까워져 전체 값이 1에 접근하게 된다.

- **\(x \to -\infty\)일 때, \(\sigma(x) \to 0\)**:
  \[ \lim_{x \to -\infty} \sigma(x) = \lim_{x \to -\infty} \frac{1}{1 + e^{-x}} = 0 \]
  이는 \( x \)가 매우 큰 음수일 때, \( e^{-x} \)가 매우 큰 양수가 되므로 분모가 매우 커져 전체 값이 0에 접근하게 된다.