3B1B: Essence of Linear Algebra ch.7 Inverse matrices, Column space and Null space

선형대수학은 공간을 조작(manipulate)하는 방법을 다룬 학문이다. 이는 이전 장에서도 언급했듯이 컴퓨터그래픽스나 로봇 분야에 굉장히 유용하다. 왜냐하면 우리가 사는 세상은 3차원 공간이기 때문이다.

그러나, 선형대수학이 중요한 또 다른 이유는 어떤 분야를 막론하고 선형대수학을 통해 system of equations를 풀 수 있기 때문이다. system of equations는 unkown variables(미지수인 변수) 리스트와 equations(방정식) 리스트로 이루어져 있다.

방정식은 때로 엄청 복잡하지만, 때로 어떤 특정한 형태로 만들어 다룰 수 있다.

ch7-1

각 방정식 내에서, 각 변수들은 어떤 상수에 의해 scaled된 것이다. 그리고 이렇게 scaled된 변수들을 서로 더하는 게 전부다. 여기서 변수의 경우 거듭제곱 형태나 서로 다른 변수를 곱하는 형태처럼 복잡한 형태는 다루지 않는다. 어쨌든, 이러한 scaled된 변수들을 system화시킨게 system of equations이다. 좌변에는 변수들을 놓고 우변에는 상수항을 놓는다.

이러한 system of equations에서 선형성을 지닌 녀석이 Linear system of equations이다.

ch7-2

위의 linear system of equations는 아래와 같이 행렬과 벡터의 꼴로 나타낼 수 있다.

\[\begin{bmatrix} 2 & 5 & 3 \\ 4 & 0 & 8 \\ 1 & 3 & 0 \\ \end{bmatrix} \begin{bmatrix} x\\ y\\ z\\ \end{bmatrix} = \begin{bmatrix} -3 \\ 0 \\ 2 \\ \end{bmatrix}\]

이는 다시 $A\mathrm{x} = \mathrm{v}$라는 문자로 표현할 수 있다.

중요한 점은 이렇게 식으로 표현된 linear system of eqations도 기하학적으로 생각해봐야 한다는 점이다. $A\mathrm{x} = \mathrm{v}$를 기하학적으로 해석하면, $\mathrm{x}$라는 벡터에 $A$라는 transformation을 곱하여 $\mathrm{v}$라는 벡터로 움직였다는 뜻이다. 한 벡터가 다른 벡터로 어떻게 이동할까에만 초점을 맞추면 된다.

ch7_gif

예를 들어보자.

\[2x + 2y = -4\\ 1x + 3y = -1\\\]

위와 같은 linear system of equations가 있다고 해보자. 이를 행렬로 나타내면,

\[\begin{bmatrix} 2 & 2 \\ 1 & 3\\ \end{bmatrix} \begin{bmatrix} x\\ y\\ \end{bmatrix} = \begin{bmatrix} -4\\ -1\\ \end{bmatrix}\]

이다.

이제 이 방정식의 해를 찾는 방법은 우선 행렬 $A$ 변환이

  1. 모든 공간을 더 낮은 차원으로 축소시키는지, 즉 평면(2차원)을 선(1차원)이나 점(0차원)같은 공간으로 만드는지
  2. 공간이 그대로 유지되는지

알아보아야 한다.

다시 말해, 행렬 $A$의 determinant의 값이

  1. $det(A) = 0 $
  2. $det(A) \neq 0$

인지 확인하는 것이다.

$det(A) \neq 0 $

determinant가 0이 아닌경우, 벡터 $\mathrm{v}$에서 다른 벡터 $\mathrm{w}$로 변하는 꼴은 하나다. 즉, 유일하다. 다시 말해 일대일 대응이다. 이때, 벡터 $\mathrm{w}$에서 $\mathrm{v}$로 변하는 경우도 생각해볼 수 있는데, 이럴 경우 $\mathrm{w}$에 $A^{-1}$를 곱하면 다시 $\mathrm{v}$가 된다. 여기서 $A^{-1}$를 the inverse of A(A의 역행렬)라고 부른다.

$A^{-1}$는 행렬 A라는 linear transformation을 거꾸로 한거기 때문에 여기에 다시 행렬 $A$를 곱하면 벡터는 제자리로 돌아온다. 즉, 아무 일도 일어나지 않는다.

ch7(2)_gif

위와 같은 상황을 표현하기 위한 용어가 새로 등장하는데 바로 identity matrix(단위행렬)이다.

\[\begin{bmatrix} 1 & 0 \\ 0 & 1\\ \end{bmatrix}\]

$det(A) \neq 0$, 즉 $A$의 역행렬이 존재하는 경우엔, linear system of equations의 solution은 unqiue하다.

3차원에서의 설명은 생략한다.(동영상엔 있음)

$det(A) = 0 $

determinant가 0이 되는 경우, 차원이 축소된다. 이때 축소된 차원을 다시 원상태로 돌릴 수 없다. 원상태로 돌리기 위해선 역행렬을 곱해야하는 데, 존재하지 않기 때문에 그럴 수 없다. 한번 뭉게진 차원에선 역행렬이 존재할 수 없다.

역행렬이 존재하지 않는 경우에도, soultion은 여전히 존재할 수도 있다. linear transformation이 2차원 공간을 1차원 공간의 선으로 변환시키는 경우에, 벡터 $\mathrm{x}$가 변형되 만들어진 벡터 $\mathrm{v}$가 변형된 그 선 위에 놓여있다면 말이다.

ch7-3

3차원 공간에서는 해가 존재하기 상당히 힘들어진다. $det(A) = 0 $이라 했을 때, 공간을 하나의 선이 아닌 평면으로 수축했을 때, 벡터가 이 평면 위에 놓이는 경우는 드물다. 따라서 이를 구분하기 위해 determinant보다 더 구체적인 개념이 필요하다.

ch7-4

Rank

그게 바로 Rank(계수)이다. linear transformation의 결과가 선이라면, rank값은 1이다. 또, 모든 벡터가 2차원 평면에 놓여있다면, rank값은 2이다.

Rank의 정의는 다음과 같다.

Number of dimensions in the output

2 x 2 행렬의 경우 최대로 될 수 있는 rank는 2이다. 이 말은 basis vectors를 streching해서 온전한 2차원의 공간을 만들 수 있다는 의미다. 이는 곧 determinant가 0이 아니라는 뜻이다.

하지만, 3 x 3 행렬에서 rank가 2라면, 공간이 축소했음을 의미한다. 하지만 rank가 1인 경우보다는 덜 축소된 것이다.

Column Space

행렬의 가능한 결과의 집합(Set of all possible outputs $Av$)을, 1차원 선이든, 2차원 평면이든, 3차원 공간이든지 간에, 그 행렬의 column space(열공간)이라고 한다.

columns는 basis vectors가 linear transformation하고 난 후의 위치이다.

ch7-5

다시 말해, column space는 행렬의 coulmns의 span이다.

ch7(3)_gif

따라서, rank의 좀 더 정확한 정의는 ‘column space의 차원 수’ 이다.

Full rank

column의 수가 본래 벡터의 차원가 같은 경우엔 full rank(온전한 계수)라고 부른다.

Null Space

주의할 점은 zero vector는 항상 column space에 포함되어 있다는 점이다. 왜냐하면 linear transformation은 반드시 origin(원점)이 고정되어 있기 때문이다.

full rank가 아닌 경우, 즉 행렬이 더 낮은 차원으로 축소시킨다면, zero vector 위에 수 많은 벡터들을 놓이게 될 것이다. 예를 들어, 2차원 평면이 1차원 직선으로 축소하는 경우 2차원에서 방향을 가지는 수 많은 벡터들이 원점으로 뭉게지게 된다는 뜻이다.

3차원 공간이 2차원 평면으로 축소된다면, 원점으로 이동하는 직선 위에는 본래 3차원 공간에서의 수 많은 벡터들이 존재한다. 즉, 원점 위에 모이게 된다. 한편, 3차원 공간이 1차원 직선으로 축소된다면, 한 평면 위에 모든 벡터들이 원점으로 이동하게 된다.

ch7(4)_gif

이때, 원점으로 이동되는 벡터들의 집합을 그 행렬의 Null space(영공간) 혹은 kernel(커널)이라고 부른다. Null이 되는 모든 벡터의 공간(space)이라는 뜻이다.

ch7-6

\[A\mathrm{x} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}\]

위와 같은 경우, 즉 $\mathrm{v}$가 영벡터일 때, null space 모두가 해가 될 수 있다.

업데이트:

댓글남기기