<최소제곱법 (Least Square Method)>
1. 어쩌다 보니 통계
앞서 구한 연립 방정식을 조금 변형해보자. 먼저 이 식을 다시 써보면,
\begin{align}
&a\sum\limits_{i=1}^nx_i^2 + b\sum\limits_{i=1}^nx_i &= &\sum\limits_{i=1}^nx_iy_i \\
&a\sum\limits_{i=1}^nx_i + b\sum\limits_{i=1}^n(1) &= &\sum\limits_{i=1}^ny_i
\end{align}
위 두 번째 식의 $\sum\limits_{i=1}^n(1)$은 $1$을 $n$번 더했으니 그냥 $n$이다. 위 두 식의 양변을 $n$으로 나누게 되면 다음과 같다.
\begin{align}
&a\sum\limits_{i=1}^n\cfrac{x_i^2}{n} + b\sum\limits_{i=1}^n\cfrac{x_i}{n} &= &\sum\limits_{i=1}^n\cfrac{x_iy_i}{n} \\
&a\sum\limits_{i=1}^n\cfrac{x_i}{n} + b &= &\sum\limits_{i=1}^n\cfrac{y_i}{n}
\end{align}
이렇게 써보니까 뭔가 요상한 기분이 든다. 이것은 우리가 학교 다닐 때 많이 보던 식인데.. 곰곰이 생각해보니 이건 통계다.
$\sum\limits_{i=1}^n\cfrac{x_i}{n}$ 이건 $x$의 평균이다. 마찬가지로, $\sum\limits_{i=1}^n\cfrac{y_i}{n}$ 이건 $y$의 평균이 된다. $\sum\limits_{i=1}^n\cfrac{x_i^2}{n}$ 이건 $x$의 분산과 관련이 되겠네? $\sum\limits_{i=1}^n\cfrac{x_iy_i}{n}$ 이건 공분산에서 나올 수 있겠다. 다시 예쁘게 정리해보면 아래와 같다.
\begin{align}
&\sum\limits_{i=1}^n\cfrac{x_i}{n} = \bar{x} \\
&\sum\limits_{i=1}^n\cfrac{y_i}{n} = \bar{y} \\
&\sum\limits_{i=1}^n\cfrac{x_i^2}{n} = \sigma_x^2 + \bar{x}^2 \\
&\sum\limits_{i=1}^n\cfrac{x_iy_i}{n} = \sigma_{xy}^2 + \bar{x}\bar{y}
\end{align}
위 관계식을 이용해서 정리하면,
\begin{align}
a(\sigma_x^2 + \bar{x}^2) + b\bar{x} &= \sigma_{xy}^2 + \bar{x}\bar{y} \\
a\bar{x} + b &= \bar{y}
\end{align}
두 번째 식에 $\bar{x}$를 곱하면,
\begin{align}
a(\sigma_x^2 + \bar{x}^2) + b\bar{x} &= \sigma_{xy}^2 + \bar{x}\bar{y} \\
a\bar{x}^2 + b\bar{x} &= \bar{x}\bar{y}
\end{align}
첫 번째 식에서 두 번째 식을 빼면,
$$ a\sigma_x^2 = \sigma_{xy}^2 $$
따라서, 계수 $a, b$는 다음과 같다.
$$
a = \cfrac{\sigma_{xy}^2}{\sigma_x^2} \\
b = \bar{y} - a\bar{x}
$$
2. 통계적 접근
이제 뭐가 어떻게 되는 건지 알겠으니까 다시 통계로 접근해 보면 간단하게 정리될 것 같다. 아래 식이 모델에 오차를 포함한 관계식이다.
\begin{align}
\epsilon(x) &= y^e - y \\
y + \epsilon(x) &= ax + b
\end{align}
위 식의 양변의 평균을 구해 보면,
\begin{align}
E(y + \epsilon) &= E(ax + b) \\
E(y) + E(\epsilon) &= E(ax) + E(b) \\
E(y) + 0 &= aE(x) + b \\
\end{align}
따라서, 아래처럼 정리되고 위에서 본 형태로 정리된다.
$$ \bar{y} = a\bar{x} + b $$
그럼 이제 위 관계식을 이용해 $x, y$의 공분산을 구해보면,
\begin{align}
COV(x, y + \epsilon) &= COV(x, ax + b) \\
COV(x, y) + COV(x, \epsilon) &= aCOV(x, x) + bCOV(x, 1) \\
\end{align}
여기서 $COV(x, x)$는 $x$의 분산이고, $x$와 상수 $1$은 전혀 상관이 없으므로 $COV(x, 1)$ = 0이 된다. $x$와 오차 함수 $\epsilon$의 공분산 $COV(x, \epsilon)$도 아무 상관이 없으므로 0이다. 따라서 다시 정리하면 아래 식을 얻을 수 있다.
$$ COV(x, y) = a\sigma_x^2 $$
예쁘게 써보면 아래와 같다.
$$
a = \cfrac{\sigma_{xy}^2}{\sigma_x^2} \\
b = \bar{y} - a\bar{x}
$$
<최소제곱법 (Least Square Method)>
최근댓글