기초 선형대수 - 내적(Dot Product)

목차

• -Basic Linear Algebra-
• 5. Dot Product (내적)
  • 5.1. Definition
  • 5.2. Properties (성질)
  • 5.3. Euclidean Norm (유클리드 놈)
  • 5.4. Pythagorean Theorem (피타고라스 정리)
  • 5.5. Cauchy-Schwartz Inequality Theorem
  • 5.6. Norm (Vector Norm or Lebesque Norm)

-Basic Linear Algebra-

 

5. Dot Product (내적)

5.1. Definition

 $\boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^n$에 대하여,

$$\begin{align} \langle\boldsymbol{x}, \boldsymbol{y}\rangle &= \boldsymbol{x}\cdot\boldsymbol{y} = \boldsymbol{x}^{\mathsf{T}}\boldsymbol{y} \\\\ &= \sum_{i=1}^{n}x_iy_i = \|x\|\|y\|\cos\theta \end{align}$$

 

 여기에서 $\|x\|=\sqrt{\langle\boldsymbol{x}, \boldsymbol{y}\rangle} = \sqrt{\boldsymbol{x}^{\mathsf{T}}\boldsymbol{y}}$가 된다. 이것은 유클리드 놈(Euclidean norm)으로 L2 norm이다. 기본적으로 벡터의 크기라고 이해할 수 있다.

 

 만약 두 벡터 $\boldsymbol{x}$와 $\boldsymbol{y}$가 이루는 각도가 $\theta=90^\circ$ 또는 $\boldsymbol{x}\cdot\boldsymbol{y}=0$이면 두 벡터는 직교(orthogonal)한다.

 

 내적은 벡터의 원소끼리의 곱셈(product)을 하는 것이다. 하지만 일반적인 스칼라 곱셈과 구분하기 위해 연산자로 점을 쓰거나 괄호로 표현한다. 원소의 곱셈이라 inner product라고 한다.  그리고 벡터를 내적한 결과는 스칼라가 된다. 따라서 scalar product라고도 한다.

 

5.2. Properties (성질)

1. Posotivity: $\langle\boldsymbol{x}, \boldsymbol{y}\rangle \geq 0,\ \langle\boldsymbol{x}, \boldsymbol{y}\rangle=0$ iff $\boldsymbol{x}=0$

2. Symmetry: $\langle\boldsymbol{x}, \boldsymbol{y}\rangle = \langle\boldsymbol{y}, \boldsymbol{x}\rangle$

3. Additivity: $\langle\boldsymbol{x}+\boldsymbol{y},\boldsymbol{z}\rangle=\langle\boldsymbol{x}, \boldsymbol{z}\rangle+\langle\boldsymbol{y}, \boldsymbol{z}\rangle$

4. Homogeneity: $\langle\alpha\boldsymbol{x}, \boldsymbol{y}\rangle=\alpha\langle\boldsymbol{x}, \boldsymbol{y}\rangle$ for $\forall\alpha \in \mathbb{R}$

 

5.3. Euclidean Norm (유클리드 놈)

 유클리드 놈 $\|\boldsymbol{x}\|$ 또는 $\|\boldsymbol{x}\|_2$는 L2 norm이라고도 하며 다음과 같은 성질을 가지고 있다.

 

1. Positivity: $\|\boldsymbol{x}\| \geq 0$, $\|\boldsymbol{x}\|=0$ iff $\boldsymbol{x}=0$

2. Homogeneity: $\|\alpha\boldsymbol{x}\|=|\alpha|\|\boldsymbol{x}\|$ for $\forall\alpha \in \mathbb{R}$

3. Triangle inequality: $\|\boldsymbol{x}+\boldsymbol{y}\| \leq \|\boldsymbol{x}\| + \|\boldsymbol{y}\|$

 

5.4. Pythagorean Theorem (피타고라스 정리)

$$\|\boldsymbol{x}+\boldsymbol{y}\|^2 = \|\boldsymbol{x}\|^2 + \|\boldsymbol{y}\|^2 \text{ if } \langle\boldsymbol{x},\boldsymbol{y}\rangle=0$$

 

 너무나 유명한 정리여서 자세한 설명은 생략한다.

 

5.5. Cauchy-Schwartz Inequality Theorem

$$\forall \boldsymbol{x},\boldsymbol{y} \in \mathbb{R}^n,\quad |\langle\boldsymbol{x},\boldsymbol{y}\rangle| \leq \|\boldsymbol{x}\|\|\boldsymbol{y}\|$$

 

 딱히 증명하고 싶지 않을 정도로 당연한 이야기이다. 두 벡터의 내적은 직교할 때 0이고 벡터 사이의 각도가 0도일 때, 즉 두 벡터의 방향이 일치할 때 $\cos\theta=1$이므로 $\|\boldsymbol{x}\|\|\boldsymbol{y}\|$가 된다. 다시 각도가 180도가 되면 $\cos\theta=-1$이므로 내적은 $-\|\boldsymbol{x}\|\|\boldsymbol{y}\|$이다. 따라서 벡터의 내적은 언제나 아래 범위 안에 있게 된다.

$$-\|\boldsymbol{x}\|\|\boldsymbol{y}\| \leq \langle\boldsymbol{x},\boldsymbol{y}\rangle \leq \|\boldsymbol{x}\|\|\boldsymbol{y}\|$$

 

 따라서 부호 없는 내적의 크기는 반드시 각 벡터 크기의 곱보다 항상 작거나 같다. 이것이 코시-슈바르츠 부등식이다. 참고로 벡터의 크기(magnitue)는 L2 norm으로 쓰며 언제나 0 또는 양수이다. 벡터의 크기를 음수로 쓰는 경우도 종종 보이는데 이것은 잘못된 것이다.

 

-Proof

 어떤 임이의 스칼라 $\alpha$가 있다고 하자. 그러면,

$$\begin{align} 0 \leq \|\boldsymbol{x}+\alpha\boldsymbol{y}\|^2 &= \langle\boldsymbol{x}+\alpha\boldsymbol{y}, \boldsymbol{x}+\alpha\boldsymbol{y}\rangle \\\\ &= \langle\boldsymbol{x}, \boldsymbol{x}\rangle + \langle\alpha\boldsymbol{y}, \boldsymbol{x}\rangle + \langle\boldsymbol{x}, \alpha\boldsymbol{y}\rangle + \langle\alpha\boldsymbol{y}, \alpha\boldsymbol{y}\rangle \\\\ &= \|\boldsymbol{x}\|^2 + \alpha\langle\boldsymbol{y}, \boldsymbol{x}\rangle + \alpha\langle\boldsymbol{x}, \boldsymbol{y}\rangle + \alpha^2\|y\|^2 \\\\ &= \|\boldsymbol{x}\|^2 + 2\alpha\langle\boldsymbol{x}, \boldsymbol{y}\rangle + \alpha^2\|\boldsymbol{y}\|^2 \end{align}$$

 

 마지막으로 정리된 식을 $\alpha$의 함수로 보고 $g(\alpha)$라고 하자.

$$g(\alpha) = \|\boldsymbol{x}\|^2 + 2\alpha\langle\boldsymbol{x}, \boldsymbol{y}\rangle + \alpha^2\|\boldsymbol{y}\|^2$$

 

 $g(\alpha)$의 계수들은 모두 스칼라이므로 $g(\alpha)$는 $\alpha$에 대한 2차 함수이다. 그리고 $g(\alpha)$는 항상 0보다 크거나 같아야 하므로 두 개의 실근을 가져서는 안 된다. 따라서 이 경우에 대한 판별식을 쓰면 다음과 같다.

$$\left(2\langle\boldsymbol{x}, \boldsymbol{y}\rangle\right)^2 - 4\|\boldsymbol{x}\|^2\|\boldsymbol{y}\|^2 \leq 0$$

$$\therefore |\langle\boldsymbol{x}, \boldsymbol{y}\rangle| \leq \|\boldsymbol{x}\|\|\boldsymbol{y}\|$$

 

 

5.6. Norm (Vector Norm or Lebesque Norm)

 Norm은 다음과 같이 정의한다.

$$\|\boldsymbol{x}\|_p = \begin{cases} \begin{align} &\left( |x_1|^p + |x_2|^p + \cdots + |x_n|^p \right)^{1/p} \quad &\text{if}\quad 1\leq p \leq \infty \\\\ &\text{max}\left(|x_1|, |x_2|, \cdots, |x_n|\right) \quad &\text{if} \quad p=\infty \end{align} \end{cases}$$

 

 각 케이스에 대해 다음과 같이 쓸 수 있다.

$$\begin{align} &p=1, \quad L_{\text{1-norm}}: \|\boldsymbol{x}\|_1 = |x_1| + |x_2| + \cdots + |x_n| \\\\ &p=2, \quad L_{\text{2-norm}}: \|\boldsymbol{x}\|_2 = \left(|x_1|^2 + |x_2|^2 + \cdots + |x_n|^2\right)^{1/2} \\\\ &\vdots \\\\ &p=\infty, \quad L_{\infty\text{-norm}}: \|x_\infty\| = \text{max}\left(|x_1|, |x_2|, \cdots, |x_n|\right) \end{align}$$

 

 $L_1$은 그림 1의 파란색 선과 같이 반드시 기저 벡터의 방향으로만 이동할 수 있는 말의 최단 경로를 의미한다. $L_2$는 그림 1의 붉은 선과 같이 한 점에서 다른 점으로 가로질러 이동하는 최단 경로가 된다. $L_\infty$는 최대 놈(max norm)으로 가장 큰 원소의 값이 되고 가장 큰 성분이 전체 현상을 지배할 때 쓴다. 예를 들어 구조체의 좌굴(buckling)은 반드시 1차 모드가 먼저 나타나고 좌굴 현상이 끝난다. 따라서 좌굴에 영향을 미치는 것은 첫 번째 모드 뿐이며 모드 형상은 compliance가 가장 큰 방향이다. 좌굴에서는 가장 큰 compliance 이외의 값들은 의미가 없다.

 

그림 1. L1과 L2의 차이

 

 집합 $S$를 다음과 같이 정의하면 각 norm에 대해 그림 2와 같이 그래프로 표현할 수 있다.

$$S = \{\boldsymbol{x}=(x_1, x_2)\quad|\quad\|\boldsymbol{x}\|_p \leq r\}$$

 

그림 2. Norm의 영역