[선형대수학] 고유값과 고유벡터, 대각화 5

안녕하세요! 이번 블로그 포스트에서는 고유값과 고유벡터에 대해 알아보겠습니다. 고유값과 고유벡터의 정의와 의미부터 고유값 분해와 대각화까지 다루도록 하겠습니다.

1. 고유값과 고유벡터의 정의와 의미
   선형 변환에서 특별한 벡터인 고유벡터는 선형 변환에 의해 방향만 변하고 크기는 변하지 않는 벡터입니다. 이때, 고유벡터에 해당하는 크기를 고유값이라고 합니다. 고유값과 고유벡터는 다음과 같이 정의됩니다:

   - 고유값$($Eigenvalue$)$: 선형 변환 A를 고려할 때, 스칼라 lambda $\lambda$가 만족하는 식 A*v = $\lambda$*v을 만족하는 $\lambda$를 고유값이라고 합니다. 이때, v는 영벡터가 아닌 고유벡터입니다.

   - 고유벡터$($Eigenvector$)$: 선형 변환 A와 대응하는 고유값 $\lambda$에 대해, A*v = $\lambda$*v를 만족하는 영벡터가 아닌 v를 고유벡터라고 합니다.

   고유값과 고유벡터는 선형 변환에서 특별한 성질을 가지며, 행렬의 대각화에 매우 중요한 역할을 합니다.

 

예를 들어, 2차원 공간에서 선형 변환 A를 고려해봅시다. 이때 A가 다음과 같은 행렬로 표현되는 경우를 생각해봅시다:
\[ A = \begin{bmatrix}
3 & 1 \\
1 & 3 \\
\end{bmatrix} \]

이때, 우리는 A의 고유값과 고유벡터를 구해보고자 합니다.

1. 고유값$($Eigenvalue$)$ 계산:
   고유값은 선형 변환 A를 고려할 때, 다음의 식을 만족하는 스칼라 lambda $\lambda$를 의미합니다:
   \[ Av = \lambda v \]

   이를 행렬 연산으로 나타내면 다음과 같습니다:
   \[ \begin{bmatrix}
   3 & 1 \\
   1 & 3 \\
   \end{bmatrix}
   \begin{bmatrix}
   x \\
   y \\
   \end{bmatrix}
   =
   \lambda
   \begin{bmatrix}
   x \\
   y \\
   \end{bmatrix} \]

   이때, x와 y는 고유벡터의 성분입니다. 위의 식을 해석하면, 선형 변환 A에 의해 벡터 $(x, y)$가 자기 자신의 상수배$($lambda$)$로 변환된다는 의미입니다.

2. 고유벡터$($Eigenvector$)$ 계산:
   고유벡터는 위의 식에서 구한 고유값에 해당하는 영벡터가 아닌 벡터를 의미합니다. 따라서, 고유값$($lambda$)$에 해당하는 고유벡터를 찾기 위해 다음의 연립 방정식을 풀어야 합니다:
   \[ \begin{bmatrix}
   3 & 1 \\
   1 & 3 \\
   \end{bmatrix}
   \begin{bmatrix}
   x \\
   y \\
   \end{bmatrix}
   =
   \lambda
   \begin{bmatrix}
   x \\
   y \\
   \end{bmatrix} \]

   이를 계산하면, 다음과 같은 두 개의 고유값과 고유벡터를 얻을 수 있습니다:
   - {첫 번째 고유값$($lambda1$)$ = 2, 고유벡터$($v1$)$ =} \begin{bmatrix} 1 \\ -1 \end{bmatrix}
   - 두 번째 고유값$($lambda2$)$ = 4, 고유벡터$($v2$)$ = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

   이때, 고유값 $\lambda$1에 대응하는 고유벡터 v1은 선형 변환 A에 의해 방향만 바뀌고 크기는 변하지 않는 벡터입니다. 동일하게, 고유값 $\lambda$2에 대응하는 고유벡터 v2도 선형 변환에 의해 방향만 바뀌고 크기는 변하지 않는 벡터입니다.

이처럼 고유값과 고유벡터는 선형 변환에서 특별한 성질을 가지며, 선형 대수학에서 중요한 개념 중 하나입니다. 고유값과 고유벡터를 구함으로써 행렬의 특성을 파악하고, 행렬의 대각화를 통해 계산을 효율적으로 수행할 수 있습니다. 이러한 성질은 머신 러닝, 컴퓨터 그래픽스 등 다양한 분야에서 응용됩니다.

 

2. 고유값 분해와 대각화
   고유값 분해$($Eigenvalue Decomposition$)$는 정사각행렬을 고유값과 고유벡터로 분해하는 과정을 의미합니다. 고유값 분해는 다음과 같이 표현됩니다:

   \[
   A = P \cdot \Lambda \cdot P^{-1}
   \]

   여기서 A는 정사각행렬, P는 고유벡터들로 이루어진 행렬, $\Lambda$는 대각행렬로 고유값들이 대각선에 위치한 행렬입니다. 행렬 A를 이와 같이 분해하면 선형 변환을 대각화하여 계산하기 용이해집니다.

   고유값 분해를 통해 행렬의 거듭제곱, 역행렬, 행렬의 큰 수학적 성질 등을 효율적으로 계산할 수 있으며, 머신 러닝 알고리즘 등에도 중요하게 활용됩니다.

 

고유값 분해와 대각화에 대해 예시와 함께 더 자세히 설명하겠습니다.

예를 들어, 다음과 같은 2x2 행렬 A를 고려해봅시다:
\[ A = \begin{bmatrix}
3 & 1 \\
1 & 3 \\
\end{bmatrix} \]

이제 이 행렬 A를 고유값 분해하여 대각화하는 과정을 살펴보겠습니다.

1. 고유값$($Eigenvalue$)$과 고유벡터$($Eigenvector$)$ 계산:
   먼저, 고유값과 고유벡터를 계산합니다. 앞서 언급한 방식대로, 행렬 A에 대한 고유값과 고유벡터를 구하면 다음과 같습니다:
   - 첫 번째 고유값(\Lambda 1) = 2, 고유벡터$($v1$)$ = \begin{bmatrix} 1 \\ -1 \end{bmatrix}
   - 두 번째 고유값(\Lambda 2) = 4, 고유벡터$($v2$)$ = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

2. 고유벡터들로 이루어진 행렬 P 구성:
   고유벡터들을 열 벡터로 하는 행렬 P를 구성합니다:
   \[ P = \begin{bmatrix}
   1 & 1 \\
   -1 & 1 \\
   \end{bmatrix} \]

3. 대각행렬 $($$\Lambda$$)$ 구성:
   대각행렬 $($$\Lambda$$)$는 고유값들을 대각선에 위치시킨 행렬입니다:
   \[ \Lambda = \begin{bmatrix}
   2 & 0 \\
   0 & 4 \\
   \end{bmatrix} \]

4. 고유값 분해:
   이제 행렬 A를 다음과 같이 고유값과 고유벡터로 분해할 수 있습니다:
   \[ A = P \cdot \lambda \cdot P^{-1} \]
   \[ \begin{bmatrix}
   3 & 1 \\
   1 & 3 \\
   \end{bmatrix}
   =
   \begin{bmatrix}
   1 & 1 \\
   -1 & 1 \\
   \end{bmatrix}
   \begin{bmatrix}
   2 & 0 \\
   0 & 4 \\
   \end{bmatrix}
   \begin{bmatrix}
   1 & 1 \\
   -1 & 1 \\
   \end{bmatrix}^{-1} \]

고유값 분해를 통해 행렬 A를 대각화하였습니다. 이제 행렬의 거듭제곱, 역행렬, 큰 수학적 성질 등을 효율적으로 계산할 수 있습니다. 또한, 머신 러닝 알고리즘과 다양한 수학적 문제에도 고유값 분해가 중요한 역할을 합니다. 이러한 성질은 고유값 분해를 활용하여 다양한 문제를 효율적으로 해결할 수 있음을 의미합니다.

고유값과 고유벡터에 대해 정의와 의미, 그리고 고유값 분해와 대각화에 대해 간략하게 설명해드렸습니다. 고유값과 고유벡터는 다양한 분야에서 중요한 개념이며, 행렬의 대각화를 통해 계산 효율성을 높이는 데에 사용됩니다. 다음 포스트에서는 특이값 분해$($SVD$)$에 대해 더 자세히 다루도록 하겠습니다. 감사합니다!