다변량 정규 분포 multivariate normal distribution - 평균 벡터, 공분산 행렬

 

다변량 정규 분포는 두 개 이상의 확률 변수가 정규 분포를 따르는 경우에 해당한다. 

 

 

 

 두 개 이상의 확률 변수는 각각의 확률 변수가 발생하는 사건의 관계나 종속성을 분석하고 모델링하는 데 사용되는데 종속성 또는 독립성을 가질 수 있으며 두 확률 변수가 독립적이라면, 하나의 확률 변수가 특정 사건에 영향을 미치지 않고 다른 확률 변수의 값이 발생할 수 있고 두 변수가 종속적이라면, 한 변수의 값이 다른 변수의 값에 영향을 줄 수 있다.

 

 일변량 정규 분포는 하나의 변수가 정규 분포를 따르는 것을 의미하는 반면, 다변량 정규 분포는 여러 개의 변수가 동시에 정규 분포를 따르는 것을 의미하고 평균 벡터와 공분산 행렬을 사용하여 특징화된다. 여기서 평균 벡터는 각 변수의 평균값을 포함하는 벡터이고,  공분산 행렬은 각 변수 간의 상관 관계를 나타내는 행렬이다.

 

 

 

 

 공분산 행렬이 정규 분포를 따르는 경우 

 

 

 다변량 정규분포를 만족하는지 확인하기 위해서는 공분산 행렬이 양의 정부호(positive definite)인지 확인해야 한다.

 

정부호 여부 확인 조건

 

1. 대칭성(Symmetry): 공분산 행렬은 대칭 행렬이어야 한다. 즉, \( \text{Cov}(X_i, X_j) = \text{Cov}(X_j, X_i) \)가 모든 \( i \)와 \( j \)에 대해 성립해야 한다.

 

대칭성을 만족하는 공분산 행렬은 대칭 행렬이어야 하므로 \( \text{Cov}(X_i, X_j) = \text{Cov}(X_j, X_i) \)가 모든 \( i \)와 \( j \)에 대해 성립해야 한다.

 대칭 행렬이다:

\[
\Sigma = \begin{bmatrix}
2 & 1 \\
1 & 3
\end{bmatrix}
\]

이 행렬의 대각선 요소는 \( \text{Var}(X_1) = 2 \)와 \( \text{Var}(X_2) = 3 \)이고, 비대각 요소는 \( \text{Cov}(X_1, X_2) = 1 \)이다. 이 행렬은 대칭 행렬이며, 각 요소에 대해 \( \text{Cov}(X_i, X_j) = \text{Cov}(X_j, X_i) \)가 성립한다.

 

 

 

2. 양의 정부호(Positive Definiteness): 공분산 행렬은 양의 정부호(positive definite)이어야 한다. 이는 공분산 행렬 \( \Sigma \)에 대해 모든 \( n \)차원 벡터 \( \mathbf{x} \)에 대해 다음 부등식이 성립해야 함을 의미한다: 
\[ \mathbf{x}^T \Sigma \mathbf{x} > 0 \]
여기서 \( \mathbf{x}^T \)는 \( \mathbf{x} \)의 전치(transpose)를 나타낸다.

이러한 조건을 만족한다면 다변량 정규분포를 만족하고 공분산 행렬이 데이터의 변동을 적절하게 설명하고 있으며, 각 변수들 간의 관계를 제대로 반영하고 있다는 것을 보여준다.

 

 

 

 

 

평균 벡터가 정규 분포를 따르는 경우

 

 

 

 

평균 벡터는 정규 분포의 중심을 나타내며, 각 변수의 평균을 요소로 갖는다.

만약 \(X\)가 \(n\)차원 다변량 정규분포를 따른다면, \(X\)의 평균 벡터는 \(n\)차원 열 벡터로 나타낼 수 있다

\[ {\mu} = \begin{bmatrix} \mu_1 \\ \mu_2 \\ \vdots \\ \mu_n \end{bmatrix} \]

여기서 \(\mu_i\)는 각 변수 \(X_i\)의 평균을 나타낸다. 다변량 정규분포의 확률 밀도 함수에서는 이러한 평균 벡터를 사용하여 각 변수의 평균을 지정하게 된다. 평균 벡터는 다변량 정규분포의 중심을 나타내며, 데이터의 분포를 결정하는 중요한 요소 중 하나이다.