절6.3정사영¶ 고유 링크

목표

부분공간에 대한 벡터의 직교 분해를 이해합니다.
직교 분해와 정사영 사이의 관계를 이해합니다.
직교 분해와 부분공간 위의 가장 가까운 벡터 / 부분공간까지의 거리 사이의 관계를 이해합니다.
선형변환으로서, 그리고 행렬변환으로서 정사영이 갖는 기본 성질을 배웁니다.
방법: 직선 위로의 정사영, 연립방정식을 풀어 구하는 직교 분해, 복잡한 행렬 곱을 이용한 정사영.
그림: 직교 분해, 정사영.
용어: 직교 분해, 정사영.

$W$ 를 $\R^n$ 의 부분공간이라 하고 $x$ 를 $\R^n$ 의 벡터라 합시다. 이 절에서는 $W$ 에서 $x$ 에 가장 가까운 벡터 $x_W$ 를 계산하는 방법을 배웁니다. 벡터 $x_W$ 를 $x$ 의 $W$ 위로의 정사영이라고 합니다. 이것이 바로 장 6의 도입부에서 논의한 대로, 행렬 방정식을 근사적으로 푸는 데 사용할 것입니다.

소절6.3.1직교 분해

먼저 몇 가지 표기법을 정합니다.

표기법

$W$ 를 $\R^n$ 의 부분공간이라 하고 $x$ 를 $\R^n$ 의 벡터라 합시다. $W$ 위에서 $x$ 에 가장 가까운 벡터를 $x_W$ 로 나타냅니다.

$x_W$ 가 $W$ 위에서 $x$ 에 가장 가까운 벡터라는 것은 차 $x-x_W$ 가 $W$ 의 벡터들과 직교한다는 뜻입니다.

$\begin{tikzpicture}[myxyz, thin border nodes] \coordinate (u) at (0,1,0); \coordinate (v) at (1.1,0,-.2); \coordinate (uxv) at (.2,0,1.1); \coordinate (x) at ($-1.1*(u)+(v)+1.5*(uxv)$); \begin{scope}[x=(u),y=(v),transformxy] \fill[seq-violet!30] (-2,-2) rectangle (2,2); \draw[seq-violet, help lines] (-2,-2) grid (2,2); \node[seq-violet] at (2.6,1) {$W$}; \end{scope} \point[seq-blue, "$x_W$" {below,text=seq-blue}] (y) at ($-1.1*(u)+1*(v)$); \coordinate (yu) at ($(y)+(u)$); \coordinate (yv) at ($(y)+(v)$); \pic[draw, right angle len=3mm] {right angle=(x)--(y)--(yu)}; \pic[draw, right angle len=3mm] {right angle=(x)--(y)--(yv)}; \point[seq-red, "$x$" {above,text=seq-red}] (xx) at (x); \draw[vector, thin] (y) -- node[auto] {$x-x_W$} (xx); \point at (0,0,0); \end{tikzpicture}$

다시 말해, $x_{W^\perp} = x - x_W$ 라 하면 $x = x_W + x_{W^\perp}$ 이며, 여기서 $x_W$ 는 $W$ 에 속하고 $x_{W^\perp}$ 는 $W^\perp$ 에 속합니다. 가장 먼저 할 일은 가장 가까운 벡터가 항상 존재함을 증명하는 것입니다.

정리(직교 분해)

$W$ 를 $\R^n$ 의 부분공간이라 하고 $x$ 를 $\R^n$ 의 벡터라 합시다. 그러면 $x$ 를

$\begin{equation*} x = x_W + x_{W^\perp} \end{equation*}$

와 같이 유일하게 쓸 수 있습니다. 여기서 $x_W$ 는 $W$ 위에서 $x$ 에 가장 가까운 벡터이고 $x_{W^\perp}$ 는 $W^\perp$ 에 속합니다.

증명

정의

$W$ 를 $\R^n$ 의 부분공간이라 하고 $x$ 를 $\R^n$ 의 벡터라 합시다. $W$ 에 속하는 $x_W$ 와 $W^\perp$ 에 속하는 $x_{W^\perp}$ 에 대한 표현

$\begin{equation*} x = x_W + x_{W^\perp} \end{equation*}$

을 $W$ 에 대한 $x$ 의 직교 분해라고 하며, 가장 가까운 벡터 $x_W$ 를 $W$ 위로의 $x$ 의 정사영이라고 합니다.

$x_W$ 는 $W$ 위에서 $x$ 에 가장 가까운 벡터이므로, $x$ 에서 부분공간 $W$ 까지의 거리는 $x_W$ 에서 $x$ 로 가는 벡터의 길이, 즉 $x_{W^\perp}$ 의 길이입니다. 다시 정리하면 다음과 같습니다.

가장 가까운 벡터와 거리

$W$ 를 $\R^n$ 의 부분공간이라 하고 $x$ 를 $\R^n$ 의 벡터라 합시다.

정사영 $x_W$ 는 $W$ 에서 $x$ 에 가장 가까운 벡터입니다.
$x$ 에서 $W$ 까지의 거리는 $\|x_{W^\perp}\|$ 입니다.

예제( $xy$ -평면에 대한 직교 분해)

예제( $W$ 에 속하는 벡터의 직교 분해)

예제( $W^\perp$ 에 속하는 벡터의 직교 분해)

인터랙티브: $\R^2$ 에서의 직교 분해

인터랙티브: $\R^3$ 에서의 직교 분해

이제 $x_W$ 와 $x_{W^\perp}$ 를 계산하는 문제로 넘어갑시다. 물론 $x_{W^\perp} = x - x_W$ 이므로, 실제로 필요한 것은 $x_W$ 를 계산하는 것뿐입니다. 다음 정리는 열공간 위로의 정사영을 계산하는 방법을 제공합니다. 일반적인 부분공간 위로의 정사영을 계산하려면, 보통 이 중요 in 절 2.6에서처럼 그 부분공간을 어떤 행렬의 열공간으로 다시 쓰는 것이 가장 좋습니다.

정리

$A$ 를 $m \times n$ 행렬이라 하고, $W = \Col(A)$ 라 하고, $x$ 를 $\R^m$ 의 벡터라 합시다. 그러면 미지 벡터 $c$ 에 대한 행렬 방정식

$\begin{equation*} A^TAc=A^Tx \end{equation*}$

은 해를 가지며, 임의의 해 $c$ 에 대해 $x_W$ 는 $Ac$ 와 같습니다.

증명

$x = x_W + x_{W^\perp}$ 를 $W$ 에 대한 직교 분해라 합시다. 정의에 의해 $x_W$ 는 $W=\Col(A)$ 에 속하므로, $Ac = x_W$ 를 만족하는 벡터 $c$ 가 $\R^n$ 에 존재합니다. 그러한 벡터 $c$ 를 아무것이나 하나 택하십시오. $x-x_W=x-Ac$ 는 $W^\perp$ 에 속하며, 이 중요 in 절 6.2에 의해 $W^\perp$ 는 $\Nul(A^T)$ 와 같다는 것을 알고 있습니다. 따라서

$\begin{equation*} 0=A^T(x-Ac) = A^Tx-A^TAc \end{equation*}$

이고, 그러므로

$\begin{equation*} A^TAc = A^Tx. \end{equation*}$

이는 정확히 $A^TAc = A^Tx$ 가 해를 가진다는 뜻입니다. $c$ 가 $A^TAc=A^Tx$ 의 임의의 해라면, 위의 논리를 거꾸로 따라가서 $x_W = Ac$ 라는 결론을 얻습니다.

예제(직선 위로의 정사영)

$L = \Span\{u\}$ 를 $\R^n$ 의 직선이라 하고, $x$ 를 $\R^n$ 의 벡터라 합시다. 정리에 의해 $x_L$ 을 구하려면 행렬 방정식 $u^Tuc = u^Tx$ 를 풀어야 하며, 여기서 $u$ 는 $n\times 1$ 행렬로 간주합니다(이 행렬의 열공간은 정확히 $L$ 입니다!). 그런데 $u^Tu = u\cdot u$ 이고 $u^Tx = u\cdot x$ 이므로, $c = (u\cdot x)/(u\cdot u)$ 는 $u^Tuc = u^Tx$ 의 해이며, 따라서 $x_L = uc = (u\cdot x)/(u\cdot u)\,u.$

$\begin{tikzpicture}[thin border nodes] \draw[seq-violet] (-3,-2) -- node[below right, very near start] {$L$} (3,2); \draw[vector] (0,0) -- node[below right] {$u$} (1.5,1); \point[seq-red] (x) at (-3,2); \point (o) at (0,0); \draw[vector,seq-red] (o) -- node[auto,swap] {$x$} (x); \point[seq-blue, "$x_L = \dfrac{u\cdot x}{u\cdot u}\,u$" {below right,seq-blue}] (p) at (${-2.5/(1.5*1.5+1)}*(1.5,1)$); \draw[vector, seq-green] (p) -- node[below left] {$x_{L^\perp}$} (x); \pic[draw] {right angle=(x)--(p)--(o)}; \end{tikzpicture}$

다시 정리하면 다음과 같습니다.

계산 절차: 직선 위로의 정사영

$L = \Span\{u\}$ 가 직선이면, 임의의 벡터 $x$ 에 대해

$\begin{equation*} x_L = \frac{u\cdot x}{u\cdot u}\,u \sptxt{and} x_{L^\perp} = x - x_L \end{equation*}$

참고(직선 위로의 사영 공식에 대한 간단한 증명)

예제( $\R^2$ 에서 직선 위로의 사영)

예제( $\R^3$ 에서 직선 위로의 사영)

$A$ 가 열이 둘 이상인 행렬일 때, $x$ 를 $W = \Col(A)$ 위로 정사영한 것을 계산한다는 것은 행렬 방정식 $A^TAc = A^Tx$ 를 푸는 것을 의미합니다. 다시 말해, 연립일차방정식을 풀어서 가장 가까운 벡터를 계산할 수 있습니다. 명확히 하기 위해, 정리를 계산 절차로 정리합니다:

계산 절차: 직교 분해 계산하기

$W$ 를 $\R^m$ 의 부분공간이라 합시다. 벡터 $x$ 의 $W$ 에 대한 직교 분해를 계산하는 방법은 다음과 같습니다:

$W$ 를 행렬 $A$ 의 열공간으로 다시 씁니다. 다시 말해, $W$ 의 생성 집합을 찾고, 그 벡터들을 열로 갖는 행렬을 $A$ 라 합니다.
행렬 $A^TA$ 와 벡터 $A^Tx$ 를 계산합니다.
미지 벡터 $c$ 에 대한 행렬 방정식 $A^TAc = A^Tx$ 의 첨가행렬을 만들고 행 축약합니다.
이 방정식은 항상 해를 가지므로, 해 $c$ 를 하나 고릅니다. 그러면
$\begin{equation*} x_W = Ac \qquad x_{W^\perp} = x - x_W. \end{equation*}$

예제( $xy$ -평면 위로의 사영)

예제( $\R^3$ 에서 평면 위로의 사영)

예제( $\R^3$ 의 또 다른 평면으로의 사영)

예제( $\R^4$ 의 $3$ -공간으로의 사영)

위의 계산 절차에서 $W$ 의 기저로부터 시작하면, 정사각행렬 $A^TA$ 가 자동으로 가역임이 밝혀집니다! ( $A^TA$ 는 항상 정사각행렬이고 방정식 $A^TAc = A^Tx$ 는 항상 해를 가지지만, 일반적으로 $A^TA$ 가 가역일 필요는 없습니다.)

따름정리

$A$ 를 열들이 일차독립인 $m \times n$ 행렬이라 하고 $W = \Col(A)$ 라 하십시오. 그러면 $n\times n$ 행렬 $A^TA$ 는 가역이며, $\R^m$ 의 모든 벡터 $x$ 에 대하여 다음이 성립합니다.

$\begin{equation*} x_W = A(A^TA)\inv A^Tx. \end{equation*}$

증명

$\Nul(A^TA)=\{0\}$ 임을 보이겠습니다. 이는 가역행렬 정리 in 절 5.1에 의해 가역성을 함의합니다. $A^TAc = 0$ 이라고 가정하십시오. 그러면 $A^TAc = A^T0$ 이므로, 정리에 의해 $0_W = Ac$ 입니다. 그런데 $0_W = 0$ 이므로(영벡터의 직교 분해는 단순히 $0 = 0 + 0)\text{,}$ $Ac = 0$ 이고, 따라서 $c$ 는 $\Nul(A)$ 에 속합니다. $A$ 의 열들이 일차독립이므로 $c=0$ 이고, 따라서 원하던 대로 $\Nul(A^TA)=0$ 입니다.

$x$ 를 $\R^n$ 의 벡터라 하고 $c$ 를 $A^TAc = A^Tx$ 의 해라 하십시오. 그러면 $c = (A^TA)\inv A^Tx$ 이므로 $x_W =Ac = A(A^TA)\inv A^Tx$ 입니다.

이 따름정리는 특히 $\R^m$ 의 부분공간 $W$ 와 $W$ 의 기저 $v_1,v_2,\ldots,v_n$ 이 주어진 경우에 적용됩니다. 따름정리를 적용하려면, $A$ 를 열이 $v_1,v_2,\ldots,v_n$ 인 $m\times n$ 행렬로 잡습니다.

예제(사영 계산하기)

소절6.3.2정사영

이 절에서는 관점을 바꾸어 정사영 $x_W$ 를 $x$ 의 함수로 생각합니다. 이 함수는 여러 좋은 성질을 가진 선형변환임이 밝혀지며, 원래 행렬 변환으로 정의되지 않은 선형변환의 좋은 예입니다.

정사영의 성질

$W$ 를 $\R^n$ 의 부분공간이라 하고, $T\colon\R^n\to\R^n$ 를 $T(x) = x_W$ 로 정의하십시오. 그러면 다음이 성립합니다.

$T$ 는 선형변환입니다.
$T(x)=x$ 일 필요충분조건은 $x$ 가 $W$ 에 속하는 것입니다.
$T(x)=0$ 일 필요충분조건은 $x$ 가 $W^\perp$ 에 속하는 것입니다.
$T\circ T = T\text{.}$
$T$ 의 치역은 $W$ 입니다.

증명

정사영의 표준행렬은 다른 모든 선형변환의 경우와 같은 방법으로, 즉 표준 좌표 벡터에서의 값을 계산하여 구합니다. 이 경우 이는 표준 좌표 벡터를 부분공간 위로 사영하는 것을 의미합니다.

예제(사영의 행렬)

앞의 예제에서는

$\begin{equation*} \left\{\vec{1 0 -1},\;\vec{1 1 0}\right\} \end{equation*}$

가 $W$ 의 기저를 이룬다는 사실을 이용하여, 따름정리에 의해

$\begin{equation*} T(x) = x_W = \bigl[A(A^TA)\inv A^T\bigr]x \sptxt{for} A = \mat{1 1; 0 1; -1 0} \end{equation*}$

를 얻을 수도 있었습니다. 이 경우에는 이미 $T$ 를 행렬 $A(A^TA)\inv A^T$ 를 갖는 행렬 변환으로 나타냈습니다. 이 예제를 참고하십시오.

$W$ 를 기저 $v_1,v_2,\ldots,v_m$ 을 갖는 $\R^n$ 의 부분공간이라 하고, $A$ 를 열이 $v_1,v_2,\ldots,v_m$ 인 행렬이라 합시다. 그러면 $T(x) = x_W$ 의 표준행렬은

$\begin{equation*} A(A^TA)\inv A^T. \end{equation*}$

입니다.

위의 정사영의 성질을 그에 대응하는 표준행렬의 성질로 옮길 수 있습니다.

사영행렬의 성질

$W$ 를 $\R^n$ 의 부분공간이라 하고, $T\colon\R^n\to\R^n$ 를 $T(x) = x_W$ 로 정의하며, $B$ 를 $T$ 의 표준행렬이라 합시다. 그러면 다음이 성립합니다:

$\Col(B) = W.$
$\Nul(B) = W^\perp.$
$B^2 = B.$
$W \neq \{0\}$ 이면 1은 $B$ 의 고윳값이고, $B$ 의 1-고유공간은 $W$ 입니다.
$W \neq \R^n$ 이면 0은 $B$ 의 고윳값이고, $B$ 의 0-고유공간은 $W^\perp$ 입니다.
$B$ 는 대각선에 1이 $m$ 개, 0이 $n-m$ 개 있는 대각행렬과 닮음입니다. 여기서 $m = \dim(W).$ 입니다.

증명

사영행렬의 성질은 행렬만으로 증명하기가 매우 어렵다는 점을 강조합니다. 모든 명제를 선형변환에 관한 명제로 옮기면 훨씬 더 명료해집니다. 예를 들어, 이 예제에서 구한 사영행렬을 생각해 봅시다. 행렬을 보는 것만으로는 그 행렬을 제곱했을 때 같은 행렬이 다시 나온다는 사실이 전혀 분명하지 않습니다.