[선형대수학] 특이값 분해[SVD] 6

안녕하세요! 이번 블로그 포스트에서는 특이값 분해$($Singular Value Decomposition, SVD$)$에 대해 자세히 알아보겠습니다. SVD는 선형 대수학에서 중요하고 강력한 도구로, 다양한 분야에서 활용되는 개념입니다.

1. 특이값 분해$($SVD$)$의 개념과 의미:
   특이값 분해는 임의의 행렬을 세 개의 행렬의 곱으로 분해하는 것을 의미합니다. 이때, 분해되는 세 개의 행렬은 다음과 같습니다:
   $$A=U\cdot \mathrm{\Sigma }\cdot V^T$$

   여기서, A는 임의의 m x n 행렬이며, U는 m x m 직교 행렬, $\mathrm{\Sigma }$는 m x n 대각행렬$($비대각 성분이 0인 대각행렬$)$이며, $V^T$는 n x n 직교 행렬입니다.

   이때, U와 $V^T$는 각각 A와 $A^T$$($전치행렬$)$의 고유벡터들로 이루어진 행렬이며, $\mathrm{\Sigma }$는 A의 특이값들이 대각에 위치한 행렬입니다. 특이값은 A의 중요한 특성을 나타내며, 행렬 A의 랭크$($rank$)$를 정의하는 데에 사용됩니다.

   예시를 들어보겠습니다. 다음과 같은 3x2 행렬 A가 주어졌다고 가정합니다:
   $$A=\left[\begin{array}{cc}1& 2\\ 2& 3\\ 3& 4\end{array}\right]$$

   이제 이 행렬 A의 SVD를 구해보겠습니다.

   - 고유값과 고유벡터 계산:
     먼저, A와 A^T의 고유값과 고유벡터를 구합니다. A^T는 다음과 같습니다:
     $$A^T=\left[\begin{array}{ccc}1& 2& 3\\ 2& 3& 4\end{array}\right]$$

     이제 각 행렬의 고유값과 고유벡터를 계산합니다. 고유값과 고유벡터는 다음과 같습니다:
     - A의 고유값$\lambda 1$ = 0.168, 고유벡터$v1$ = $$\left[\begin{array}{c}-0.735\\ -0.678\\ -0.205\end{array}\right]$$
     - A의 고유값$\lambda 2$ = 7.530, 고유벡터$v2$ = $$\left[\begin{array}{c}0.678\\ -0.735\\ 0\end{array}\right]$$

   - 특이값과 대각행렬 \Sigma 구성:
     특이값은 고유값의 제곱근으로 구합니다. 이때, 특이값은 내림차순으로 정렬합니다. 따라서, 특이값과 대각행렬 $\mathrm{\Sigma }$는 다음과 같습니다:
     $$\mathrm{\Sigma }=\left[\begin{array}{cc}7.736& 0\\ 0& 0.206\\ 0& 0\end{array}\right]$$

   - U와 V^T 행렬 구성:
     U와 V^T는 각각 A와 A^T의 고유벡터들로 이루어진 행렬입니다. 이를 이용하여 U와 V^T를 구합니다.

     $$U=\left[\begin{array}{cc}-0.735& 0.678\\ -0.678& -0.735\\ -0.205& 0\end{array}\right]$$

     $$V^T=\left[\begin{array}{ccc}0.071& -0.997& 0\\ -0.997& -0.071& 0\end{array}\right]$$

2. 특이값 분해$($SVD$)$의 활용:
   SVD는 다양한 분야에서 활용됩니다. 주요한 응용 분야는 다음과 같습니다:

   - 이미지 압축: SVD를 이용하여 이미지를 주요한 정보와 잡음으로 분리하여 이미지 압축을 수행할 수 있습니다.

   예시를 들어보겠습니다. 다음과 같은 4x4 흑백 이미지 행렬 I가 주어졌다고 가정합니다:
   $$I=\left[\begin{array}{cccc}100& 200& 150& 170\\ 180& 170& 220& 240\\ 50& 120& 90& 180\\ 210& 190& 230& 220\end{array}\right]$$

   이제 이 이미지 행렬 I의 SVD를 구해보겠습니다.

SVD는 다음과 같이 행렬 A를 세 개의 행렬의 곱으로 분해합니다:
$$I=U\cdot \mathrm{\Sigma }\cdot V^T$$
여기서, U는 4x4 직교 행렬, $\mathrm{\Sigma }$는 4x4 대각행렬$($비대각 성분이 0인 대각행렬$)$, V^T는 4x4 직교 행렬입니다.

1. 공분산 행렬 계산:
   먼저, 이미지 행렬 I를 중앙값 0으로 정규화하여 공분산 행렬 C를 계산합니다.
2. C의 고유값과 고유벡터 계산:
   공분산 행렬 C의 고유값과 고유벡터를 계산합니다.
3. 특이값과 대각행렬 $\mathrm{\Sigma }$ 구성:
   특이값은 공분산 행렬 C의 고유값의 제곱근으로 구합니다. 이때, 특이값은 내림차순으로 정렬합니다.
4. U와 V^T 행렬 구성:
   U와 V^T는 각각 C의 고유벡터들로 이루어진 행렬입니다.

이제 순서대로 진행하여 이미지 행렬 I의 SVD를 구해봅니다. $($근사값$)$
1. 공분산 행렬 계산:
   이미지 행렬 I를 중앙값 0으로 정규화하여 공분산 행렬 C를 계산합니다.
2. C의 고유값과 고유벡터 계산:
   공분산 행렬 C의 고유값과 고유벡터를 계산합니다.
3. 특이값과 대각행렬 $\mathrm{\Sigma }$ 구성:
   특이값은 공분산 행렬 C의 고유값의 제곱근으로 구합니다. 이때, 특이값은 내림차순으로 정렬합니다.
4. U와 V^T 행렬 구성:
   U와 V^T는 각각 C의 고유벡터들로 이루어진 행렬입니다.

이제 순서대로 진행하여 이미지 행렬 I의 SVD를 구해봅니다. $($근사값$)$
$$\begin{array}{r}U=\left[\begin{array}{cccc}-0.394& 0.524& -0.424& 0.636\\ -0.506& 0.171& 0.580& -0.625\\ -0.266& -0.647& -0.501& -0.510\\ -0.710& -0.506& 0.469& 0.050\end{array}\right]\end{array}$$

$$\begin{array}{r}\mathrm{\Sigma }=\left[\begin{array}{cccc}650.154& 0& 0& 0\\ 0& 79.706& 0& 0\\ 0& 0& 24.949& 0\\ 0& 0& 0& 1.644\end{array}\right]\end{array}$$

$$\begin{array}{r}{V}^T=\left[\begin{array}{cccc}-0.394& -0.524& -0.424& -0.636\\ 0.506& -0.171& -0.580& 0.625\\ 0.266& -0.647& 0.501& 0.510\\ -0.710& 0.506& -0.469& 0.050\end{array}\right]\end{array}$$

여기서 특이값은 $\mathrm{\Sigma }$의 대각 성분들입니다. 이렇게 구해진 U, $\mathrm{\Sigma }$, V^T를 이용하여 원본 이미지 행렬 I를 근사적으로 복원할 수 있습니다. 또한, 특이값의 크기가 작은 순서대로 특이벡터들을 선택하면 이미지의 주요한 구조와 노이즈를 분리할 수 있습니다.

   이와 같이 SVD를 활용하여 이미지를 압축하면서도 원래 이미지의 주요한 정보를 유지할 수 있습니다.
   - 차원 축소: 고차원 데이터의 차원을 축소하여 데이터의 구조를 유지하면서 계산 비용을 줄일 수 있습니다.
   - 추천 시스템: 사용자-아이템 행렬을 분해하여 사용자와 아이템 간의 상관 관계를 파악하고 추천 시스템에 활용할 수 있습니다.
   - 자연어 처리: 문서-단어 행렬의 특이값 분해를 통해 단어들 간의 의미적 관계를 분석하고 토픽 모델링에 사용됩니다.

3. 특이값 분해$($SVD$)$의 계산과 응용:
   특이값 분해는 일반적인 행렬에 대해서도 가능하지만, 계산적으로 비용이 크기 때문에 주로 절단된$($Slim$)$ SVD를 사용합니다. 절단된 SVD는 특이값들 중에서 가장 큰 k개의 특이값과 그에 해당하는 벡터들만을 사용하여 근사적인 SVD를 수행하는 것입니다.

   예시를 들어보겠습니다. 다음과 같은 5x3 행렬 B가 주어졌다고 가정합니다:
   $$B=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\\ 10& 11& 12\\ 13& 14& 15\end{array}\right]$$

   이제 이 행렬 B의 절단된 SVD를 구해보겠습니다.

 

1. B의 공분산 행렬 C를 계산합니다.
2. C의 고유값과 고유벡터를 계산합니다.
3. 가장 큰 k개의 고유값과 해당하는 고유벡터들을 선택합니다.
4. U와 V^T 행렬을 구성합니다.
5. 행렬 B를 근사적으로 복원합니다.

이제 순서대로 진행하여 행렬 B의 절단된 SVD를 구해보겠습니다. $($근사값$)$
1. 공분산 행렬 계산:
   이미지 행렬 B를 중앙값 0으로 정규화하여 공분산 행렬 C를 계산합니다.
2. C의 고유값과 고유벡터 계산:
   공분산 행렬 C의 고유값과 고유벡터를 계산합니다.
3. 가장 큰 k개의 고유값과 고유벡터 선택:
   가장 큰 k개의 고유값과 해당하는 고유벡터를 선택합니다. 이때, k는 절단할 차원의 수를 나타냅니다.
4. U와 V^T 행렬 구성:
   U와 V^T는 각각 C의 고유벡터들로 이루어진 행렬입니다.

이제 순서대로 진행하여 행렬 B의 절단된 SVD를 구해봅니다. $($근사값$)$
$$U=\left[\begin{array}{cc}-0.262& 0.960\\ -0.437& 0.248\\ -0.611& -0.463\\ -0.785& -0.671\\ -0.958& -0.879\end{array}\right]$$

$$\mathrm{\Sigma }=\left[\begin{array}{cc}25.469& 0\\ 0& 0.527\\ 0& 0\\ 0& 0\\ 0& 0\end{array}\right]$$

$$V^T=\left[\begin{array}{ccc}-0.293& -0.596& -0.801\\ 0.906& 0.110& -0.408\\ -0.309& 0.795& -0.521\end{array}\right]$$

여기서 특이값은 $\mathrm{\Sigma }$의 대각 성분들입니다. 이렇게 구해진 U, $\mathrm{\Sigma }$, V^T를 이용하여 원본 행렬 B를 근사적으로 복원할 수 있습니다. 또한, 가장 큰 k개의 고유값과 고유벡터들을 선택하면 행렬 B를 k차원으로 차원 축소할 수 있습니다. 이렇게 절단된 SVD는 행렬 B의 중요한 정보를 보다 효과적으로 표현하는데 사용될 수 있습니다.
   이와 같이 절단된 SVD를 활용하여 데이터의 차원을 축소함으로써, 데이터 분석과 해석을 더욱 효율적으로 수행할 수 있습니다.

특이값 분해$($SVD$)$는 선형 대수학의 강력한 도구로, 데이터 분석과 해석에 널리 활용되는 중요한 개념입니다. 다양한 응용 분야에서 SVD를 활용하여 데이터의 중요한 특성을 파악하고, 데이터 처리의 효율성을 높일 수 있습니다. 특히, 차원 축소와 노이즈 제거를 통해 많은 데이터 문제를 해결할 수 있습니다. 이미지 압축, 추천 시스템, 자연어 처리 등에서도 SVD는 중요한 역할을 수행합니다.