DATA/BIGDATA(59)
-
선형 회귀(Linear Regression)의 기본 공식
선형 회귀 모델 선형 회귀 모델은 입력 변수 \( x \)와 출력 변수 \( y \) 사이의 선형 관계를 모델링한다. \[ f(x) = \mathbf{w}^\top \mathbf{x} + b \] - \( f(x) \)는 예측값이다. - \( \mathbf{w} \)는 가중치 벡터이다. - \( \mathbf{x} \)는 입력 변수 벡터이다. - \( b \)는 편향(bias)이다. 손실 함수 선형 회귀에서 자주 사용하는 손실 함수는 평균 제곱 오차(MSE, Mean Squared Error)이다. MSE는 다음과 같이 정의된다: \[ \text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i))^2 \] - \( N \)은 데이터 포인트의 수이다. - \( y_i ..
2024.07.01 -
파이썬 데이터 라이브러리 관련
• Google Colaboratory https://colab.research.google.com/• Anaconda https://www.anaconda.com/products/individual• NumPy https://numpy.org/ https://pypi.org/project/numpy/• matplotlib https://matplotlib.org/ https://pypi.org/project/matplotlib/• seaborn https://seaborn.pydata.org/ https://pypi.org/project/seaborn/• SciPy https://scipy.org/ https://pypi.org/project/scipy/• scikit-learn https..
2024.06.27 -
SSR SSE
■ SSR (Sum of Squares for Regression)SSR은 회귀 모델이 설명하는 종속 변수의 변동이며 예측된 값과 종속 변수의 평균 간의 차이를 제곱하여 합한 값으로 계산된다. \[ SSR = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 \] - \( \hat{y}_i \)는 관측치 \(i\)에 대한 예측값 - \( \bar{y} \)는 종속 변수의 평균값 - \( n \)은 전체 관측치의 수 ■ SSE (Sum of Squares for Error)SSE는 회귀 모델이 설명하지 못하는 종속 변수의 변동이며 실제 값과 예측된 값 간의 차이를 제곱하여 합한 값으로 계산된다. \[ SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \] ..
2024.06.14 -
epsilon
■ 부동 소수점 연산에서, 두 숫자가 "거의 같은지" 확인할 때 엡실론(ε)을 사용하는데 두 수의 차이가 매우 작은 값보다 작은지 비교하는 방식이다. 두 수 \(a\)와 \(b\)가 주어졌을 때, \(|a - b| import math def are_floats_equal(a, b, epsilon=1e-10): return math.isclose(a, b, abs_tol=epsilon) # 예시 사용 a = 0.0000001 b = 0.0000002 print(are_floats_equal(a, b)) # True or False depending on epsilon 1e-10 \(1 \times 10^{-10}\)로 매우 작은 값을 나타내며, 두 부동 소수점..
2024.06.12 -
시그모이드 함수 수식
시그모이드 함수(Sigmoid ) 이진 분류 모델에서 활성화 함수로 사용된다.\[ \sigma(x) = \frac{1}{1 + e^{-x}} \] 이 함수는 확률을 모델링하는 데 0과 1 사이의 값을 가진다. \( e^{-x} \)는 양수인데, \( x \)가 음수일 때는 \( e^{-x} \)가 1에 가까워지고, \( x \)가 양수로 커질수록 \( e^{-x} \)가 0에 가까워진다. 지수 함수는 형태가 \( e^x \)인 함수로, \( e \)는 자연 상수이며 약 2.71828의 값을 가지고 \( x \)가 증가함에 따라 빠르게 증가한다. \( e^{-x} \)는 \( x \)가 증가함에 따라 감소하는 함수이다. \( e^{-x} \)는 \( e^x \)의 역수이며, \( e^x \)는 항..
2024.05.21 -
hive 환경설정
vi hive-site.xml hive.metastore.warehouse.dir /user/hive/warehouse hive.cli.print.header true
2024.05.20