Cross Entropy (크로스 엔트로피)

 

 

 

 

 

Logistic Regression에서 사용하는 손실 함수는 Cross Entropy (크로스 엔트로피)이다.

Logistic Regression은 주로 이진 분류 문제에서 사용되며, 출력값을 확률로 해석하기 위해 Sigmoid 함수를 사용한다. Sigmoid 함수는 입력값을 0과 1 사이의 값으로 변환시키며, 이를 통해 각 클래스에 속할 확률을 예측할 수 있다.

Cross Entropy 손실 함수는 이러한 이진 분류 문제에서 예측값과 실제 레이블 사이의 차이를 측정하여 모델을 학습시키는 데 사용된다. 이 함수는 다음과 같이 정의된다:

\[ \text{Cross Entropy Loss} = -\frac{1}{N} \sum_{i=1}^{N} \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] \]

여기서:
- \( N \)은 샘플의 수,
- \( y_i \)는 실제 레이블,
- \( \hat{y}_i \)는 모델의 예측값이다.