로지스틱 회귀(Logistic Regression)

 

 

로지스틱 회귀(Logistic Regression)는 이진 분류 문제를 해결하기 위해 선형 회귀를 확장한 형태이다. 선형 회귀와 달리, 로지스틱 회귀는 종속 변수가 범주형(보통 0과 1)인 경우에 사용된다. 로지스틱 회귀의 결과는 확률 값(0과 1 사이)이므로, 이를 위해 시그모이드 함수(Sigmoid Function)를 사용하여 선형 회귀 결과를 확률로 변환한다.

 로지스틱 회귀 모델

로지스틱 회귀 모델은 다음과 같이 표현된다:

\[ P(y=1|x) = \sigma(z) = \frac{1}{1 + e^{-z}} \]

여기서:
- \( P(y=1|x) \)는 주어진 \( x \)에 대해 \( y \)가 1일 확률이다.
- \( \sigma(z) \)는 시그모이드 함수이다.
- \( z = \beta_0 + \beta_1 x \)는 선형 회귀 방정식이다.
  - \( \beta_0 \)는 절편(intercept)이다.
  - \( \beta_1 \)는 회귀 계수(coefficient)이다.
  - \( x \)는 독립 변수이다.

시그모이드 함수

시그모이드 함수는 S자 모양의 곡선으로, 선형 회귀 결과를 0과 1 사이의 값으로 변환한다:

\[ \sigma(z) = \frac{1}{1 + e^{-z}} \]

 전체 로지스틱 회귀 방정식

로지스틱 회귀의 전체 방정식은 다음과 같이 나타낼 수 있다:

\[ P(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x)}} \]

 

 

logit function

로지스틱 회귀는 또한 로짓 함수(logit function)로 표현할 수 있다. 로짓 함수는 시그모이드 함수의 역함수로, 로그 우도 비(log odds ratio)를 사용하여 선형 방정식을 구성한다:

\[ \text{logit}(P) = \ln\left(\frac{P}{1-P}\right) = \beta_0 + \beta_1 x \]

 
- \( P \)는 \( y \)가 1일 확률이다.
- \( \frac{P}{1-P} \)는 우도 비(odds ratio)이다.
- \( \ln \)은 자연 로그이다.