기초 선형대수 - 고유값과 고유벡터(Eigenvalue and Eigenvector)

-Basic Linear Algebra-

 

6. Eigenvalue and Eigenvector

6.1. Definition

 $\boldsymbol{A} \in \mathbb{R}^{n \times n}$인 어떤 행렬 $\boldsymbol{A}$가 있다고 하자. $\boldsymbol{A}$는 실수 원소를 갖는 $n \times n$ 크기의 정방 행렬이다.

 

 그리고 $\boldsymbol{v} \in \boldsymbol{V}^n $인 어떤 벡터 $\boldsymbol{v}$가 있다고 하자. 여기에서 $\boldsymbol{V}$는 n-dimensional subspace를 말한다.

 

 이 때 0이 아닌 $\lambda$가 존재하고 다음을 만족하는 경우에 $\lambda$를 고유치(eigenvalue), 그리고 $\boldsymbol{v}$를 고유벡터(eigenvector)라고 한다.

$$ \exists\lambda \neq 0 \\\\ \boldsymbol{A}\boldsymbol{v} = \lambda\boldsymbol{v} $$

 

 실제 문제에 있어서는 다음과 같은 선형 방정식을 생각해볼 수 있다.

$$ \boldsymbol{y} = \boldsymbol{A}\boldsymbol{x} $$

 

 위 방정식은 시스템 $\boldsymbol{A}$에 어떤 입력(input) $\boldsymbol{x}$가 들어가면 결과(output)로 $\boldsymbol{y}$가 되어 나오는 것이다. 즉 시스템 $\boldsymbol{A}$는 $\boldsymbol{x}$를 $\boldsymbol{y}$로 바꾸는 변환 행렬인 셈이다.

 

 여기에서 시스템 마다 어떤 특정값이 입력으로 들어가게 되면 다시 그 특정값 출력으로 나오는 그런 독특한 입력이 존재하게 되는데 이것이 고유벡터이다. 출력은 입력과 방향은 갖지만 크기만 다르게 나타나고 그 크기의 비율이 고유치가 되는 것이다. '고유'라고 번역한 eigen은 characteristic과 같은 말이다. 따라서 어떤 시스템이 갖는 특성이라고 생각하면 이해가 쉽다. 기계진동에서 고유치는 시스템의 고유한 진동 모드(mode)를 의미하고 고유벡터는 시스템이 그 모드에서 진동하는 형상(mode shape)을 의미한다.

 

6.2. Characteristic Equation

 위의 정의에서 말한 식에서 $\boldsymbol{v}$로 묶어 식을 정리하면 다음과 같이 쓸 수 있다.

$$ \left( \boldsymbol{A} - \lambda\boldsymbol{I} \right)\boldsymbol{v} = 0 $$

 

 위 식에서 고유 벡터 $\boldsymbol{v}$가 영벡터가 되면 무의미한 결과가 된다. 이것을 당연한 해 또는 뻔한 해(trivial solution)라고 한다. 어려운 말로 자명한 해라고 하는데 그냥 너무 뻔해서 생각할 가치가 없다는 것을 말한다. 아무튼 고유 벡터가 영벡터가 아니기 위해서는 괄호 안의 식이 역행렬을 갖지 않아야 한다. 역행렬이 존재한다면 고유벡터는 영벡터가 된다.

$$ |\boldsymbol{A} - \lambda\boldsymbol{I}| = 0 $$

 

 이것을 시스템 $\boldsymbol{A}$의 특성 방정식(characteristic equation)이라고 한다. 시스템의 특성(고유치, 고유벡터)을 찾는 방정식이 되는 것이다.

 

6.3. Theorem 1

 모든 대칭 행렬(symmetric matrix)의 고유치는 실수(real)이다. 대칭 행렬은 다음을 만족한다.

$$ \boldsymbol{A} = \boldsymbol{A}^{\mathsf{T}} $$

 

6.4. Theorem 2

 어떤 $n \times n$ 크기를 갖는 실수 대칭 행렬은 $n$개의 고유벡터를 갖고 이 고유벡터들은 서로 직교(orthogonal)한다.

$$ \langle\boldsymbol{v}_i, \boldsymbol{v}_j\rangle = 0 \quad \text{if} \quad i \neq j $$

 

 다음을 만족하는 경우는 단위 직교(orthonormal)한다.

$$ \langle\boldsymbol{v}_i, \boldsymbol{v}_j\rangle = \delta_{ij} $$

 

6.5. Orthogonal Matrix

 서로 직교하는 열벡터들(column vector)의 결합으로 이루어진 행렬을 직교 행렬(orthogonal matrix)이라 한다. 고유벡터는 서로 직교하기 때문에 고유 벡터들의 결합으로 직교 행렬을 구성할 수 있다.

$$ \boldsymbol{T} = \left[ \boldsymbol{v}_1, \boldsymbol{v}_2, \cdots, \boldsymbol{v}_n \right] $$

 

 만약 각 열벡터의 크기가 1이라면 단위 직교(orthonormal) 행렬이라고도 한다.

$$ \|\boldsymbol{v}_i\| = 1 $$

 

 이 직교 행렬의 강력한 특징은 전치 행렬이 역행렬과 같다는 것이다. 다시 말해 역행렬을 계산할 때 중에 복잡하고 시간이 걸리는 계산을 할 필요 없이 단순히 자리만 바꿔주면 된다.

$$ \boldsymbol{T}^{-1} = \boldsymbol{T}^{\mathsf{T}} \quad \Rightarrow \quad \boldsymbol{T}\boldsymbol{T}^{\mathsf{T}} = \boldsymbol{I} $$

 

 예를 들어 $n \times n$ 크기를 갖는 시스템 $\boldsymbol{A}$의  $i$번 째 고유벡터 $\boldsymbol{v}_i$는 고유치 $\lambda_i$와 함께 다음을 만족한다.

$$ \boldsymbol{A}\boldsymbol{v}_i = \lambda_i\boldsymbol{v}_i $$

 

 이때 고유벡터들로 이루어진 직교 행렬 $\boldsymbol{T}$를 변환 행렬로 이용하여 시스템을 변환하면 고유치만으로 이루어진 대각 행렬을 얻을 수 있다.

\begin{align} \boldsymbol{T}^{\mathsf{T}}\boldsymbol{A}\boldsymbol{T} &= \boldsymbol{T}^{-1}\boldsymbol{A}\left[\boldsymbol{v}_1, \boldsymbol{v}_2, \cdots, \boldsymbol{v}_n \right] \\\\ &= \boldsymbol{T}^{-1} \left[ \boldsymbol{A}\boldsymbol{v}_1, \boldsymbol{A}\boldsymbol{v}_2, \cdots, \boldsymbol{A}\boldsymbol{v}_n \right] \\\\ &= \boldsymbol{T}^{-1}\left[ \lambda_1\boldsymbol{v}_1, \lambda_2\boldsymbol{v}_2, \cdots, \lambda_n\boldsymbol{v}_n \right] \\\\ &= \boldsymbol{T}^{-1}\boldsymbol{T} \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{bmatrix} \\\\ &= \text{diag}[\lambda_1, \lambda_2, \cdots, \lambda_n] \end{align}