[비전2] linear algebra
비전에 대해 알아보기 전에 기본적인 선형대수 개념을 매우 간단하게! 잡고 넘어가고자 한다.
vector
: 방향과 크기(Magnitude) 를 가지는 기본적인 기하학 객체 개념으로 잡고 넘어가면 편할 듯 싶다.
vector operations
- dot product(inner product): 내적으로 벡터를 곱한다, 투영한다 라는 뜻의 연산이다.
- outer product: 외적으로 이는 왼손좌표계(
DirectX), 오른손좌표계(OpenGL) 에 따라 값이 다르게 나올 수 있는데 기본적으로 방향에 따른법선 벡터를 계산하는 연산이라고 생각하면 될 듯 싶다.
vector norm
: 선형대수학에서 놈은 벡터의 크기(magnitude) 또는 길이(length)를 측정하는 방법을 의미한다. 1-norm 은 벡터의 크기를 나타내는 것이고, 2-norm 은 벡터의 길이를 나타내는 것이구나~ 라는 정도만 알고 넘어가자
linear dependency
정의를 바로 보면 다음과 같다.
만약에 적어도 하나의 벡터가 다른 벡터들의 선형 결합에 의해서 정의될 수 있다면, 이 벡터 집합은 선형적으로 의존(Linearly dependent)한다고 한다.
basis
선형대수학에서, 어떤 벡터 공간의 기저(basis)는 그 벡터 공간을 선형생성하는 선형독립인 벡터들이다. 달리 말해, 벡터 공간의 임의의 벡터에게 선형결합으로서 유일한 표현을 부여하는 벡터들이다.
서로 선형 독립인 babis 는 다음과 같은 성질을 가지고 있다.
좌표공간 변경 시 이 기저를 바꾸는 거구나~ 정도만? 이해하고 넘어가고 이미지에서는 다음과 같이 기저가 사용될 수도 있구나~ 정도만 이해하고 있자.
matrix
말 그대로 행렬이다. 대각행력, 비대각행렬 등이 있다. 이거는 쉬우니 패스
matrix operation
행렬의 합, 곱, 뺄샘은 쉬우니 넘어가고 Transpose 정도만 이해하자
rank of matrix
행렬의 Rank 라는 것은 이 행렬의 열들로 생성될 수 있는 벡터 공간의 차원을 의미한다고 한다.
결국 차원이라고 하면 벡터 공간 상에서 기저(Basis)의 개수에 의해서 결정이 되고, 이것은 행렬의 행이라고 봐도 되겠다
행렬의 rank 에 대해서는 다음과 같은 성질이 통용된다.
matrix inversion
역행렬을 의미한다. 행렬의 determinant 값이 0이 아니어야 역행렬이 존재한다고 할 수 있다.
보통 역행렬이 존재하는 행렬을 non-singular 하다고 하며, 그 반대로 역행렬이 존재하지 않는 행렬을 singular 하다고 한다.
- determinant : 이거 계산하는 거는 일단 건너 뛰고 다음과 같은 성질을 가지고 있다는 정도만 알아두자.
eigen-decomposition
행렬의 고유값과 고유벡터라는 개념은 중요한 반면, 직관적으로 와닿지 않는 개념이다. 때문에 최대한 직관적으로 이해해보자.
행렬 A를 선형변환으로 봤을 때, 선형변환 A에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터(eigenvector)라 하고 이 상수배 값을 고유값(eigenvalue)라 한다.
즉, 항등원과 비슷한 개념이 Eigenvector 이고, 이 항등원의 상수배가 eigenvalue 라고 이해해두자.
eigen decomposition
고유값, 고유벡터는 정방행렬의 대각화와 밀접한 관련이 있다 (eigen decomposition은 정방행렬에 대해서만 가능함)
먼저 대각행렬과의 행렬곱에 대해 살펴보면, 대각행렬을 뒤에 곱하면 행렬의 열벡터들이 대각원소의 크기만큼 상수배가 된다(앞에 곱하면 행벡터들이 상수배가 된다). 예를 들어, 3 x 3 행렬의 경우를 보면 다음과 같다.
행렬 A의 고유값, 고유벡터들을 λi, vi, i = 1, 2, ..., n이라 하자.
이제 식를 한꺼번에 표현하여 정리하면
가 성립함을 알 수 있다. 이렇듯 대각화에 eigenvalue와 eigenvector를 사용할 수 있구나~ 정도만을 알고 넘어가자.
probability
확률은 진짜 많은 곳에서 사용된다. DL 분야에서도 매우 중요하고, 이미지 분야에서도 매우매우 중요하다.
다음의 분야에서 모두 확률을 사용한다니 거의 다 사용하는 거라고 봐도 될 것 같다.
conditional probability
확률 과목에서 배운 조건부 확률이다. 이는 고등 과정의 수학에서도 배우는 놈이니 수식만 보고 넘어가자.
chain rule
은근 확률에서 많이 쓰이는 체인 룰이다. 여러개의 확률의 곱으로 쪼개서 생각한다는 간단한 이론이자 대단한 이론이다.
bayes' Therorem
조건부 확률에 대한 정리이다. 그냥 확률을 다음과 같이 쪼개서 생각하는 구나~ 정도만을 이해하고 넘어가자.
gasussian distribution
통계적으로 정규화 할 때 참 많이 사용하는 정규분포이다.
다음과 같은 수식과 그래프로 데이터를 정규화시키는 과정이다. 정규분포에서는 표준편차(시그마)와 분산에 대한 이해를 잡고 넘어가는 정도면 충분할 거라 생각한다.
정리
- 간단한 선형대수 이론 정리