kwan's note

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.08 마지막으로 이번 강의는 이제까지 배운 고유값 분해와 특이값 분해가 실제 딥 러닝과 머신 러닝에는 어떤 식으로 활용될 수 있는지 배워보는 시간입니다. 고유값 분해가 머신러닝에서 어떻게 쓰이는지 알아보고, 특이값 분해가 'Low-rank approximation'과 'Dimension-reducing transformation'에서 어떻게 활용될 수 있는지 배워보겠습니다. A의 행렬이 데이터와 특성을 나타낼때, ATA와 AAT행렬이 나타내는 바가 무엇인지 설명하고있다. 즉 해당 내적은 두 값과의 관계(similarity 혹은 correlation의 관계에 대한 정보를 제공한다. rank n인 A에대해 동일한 크기이지만 rank가 n보다 ..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.08 전체 강의의 마지막 주제인 특이값 분해(SVD: Singular Value Decomposition)을 배우겠습니다. 그리고 이에 더 나아가 특이값 분해를 여러 관점에서 해석해보는 시간을 가지겠습니다. SVD는 이전에서 다룬 고윳값 분해와는 다르게 정사각행렬이 아닌경우에도 가능하다. U와 V는 orthonormal한 행렬이고 시그마는 대각행렬이다. U는 column들이 모두 orthonormal한 벡터이고 V는 row들이 모두 orthonormal하다 시그마와 T를 곱한 행렬과 U와의 곱인데 U는 column이 orthonormal한 행렬이다. 이를 QR factorize의 형태와 유사하게 볼 수도 있다. 이러한 SVD는 unique..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 이제까지 우리가 배워온 개념을 토대로 고유값 분해에 대해 배워보겠습니다. 그리고 고유값 분해를 통한 선형변환의 과정을 다루겠습니다. 고윳값 분해가 가능하기 위해서는 D = V^(-1) A V의 식에서 가정했던것들 즉, D가 대각행렬이고 V는 역행렬이 존재해야한다. 따라서 A가 diagonalizable하면 eigendecomposition-able하다 Eigen decomposition을 하는 이유에 앞서 이전시간에 eigen vector를 구하는 이유에서 생각해 보면 높은 n에대해 nxn matrix의 solve연산의 경우 ml에서 이루어지는 key 연산인 경우가 많다. 이러한 key연산이 알고리즘의 속도에 직접적으로 관여하므로 이..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 이번 강의에서는 고유값 분해와 밀접한 관련을 가지는 대각화의 개념에 대해 배워보겠습니다. 이는 나중에 배울 특이값 분해(SVD: Singular Value Decomposition)와도 밀접한 관련이 있습니다. 대각성분이 아닌 모든 성분이 0인 행렬을 대각행렬이라고 한다. 따라서 대각화는 대각행렬이 아닌 행렬에 다른행렬의 곱을통해 대각행렬로 만드는 과정이다. 대각행렬 D가 되도록 하는 V를 찾도록 하자. 하지만 모든 행렬이 이런 방식으로 대각화가 가능한것은 아니다. V가 존재하지 않는다면(V의 역행렬이 없다면) 찾을 수 없게된다. V를 찾는 방법을 확인해보자 AV를 먼저 계산해보자 AV=A[v1 v2 v3 ...]=[Av1 Av2 A..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 고유값과 고유벡터 reminder-by-kwan.tistory.com/34 고유벡터와 고유값 (Eigenvectors and eigenvalues) 출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 고유값 분해는 이미 널리 알려지고 다양한 분야에서 쓰이고 있는 주성분분석(PCA: Principal Component Analysis) 등의 주요 머신러닝 알고 reminder-by-kwan.tistory.com 영공간과 직교여공간 reminder-by-kwan.tistory.com/35 영공간(Null Space)과 직교여공간(Orthogonal Complement) 출처: 부스트코스-인공지능을 위한 선형대수 수강일..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 이번 시간에서는 고유값과 고유벡터의 개념과 이를 구하는 과정을 벡터 공간과 결부시켜 더 깊히 이해하기 위해 새로운 벡터 공간의 개념을 배워보도록 하겠습니다. 영공간 개념적으로 본다면 행렬A에대해 각 row vector에 수직인 벡터집합을 nul A라고 한다고 볼 수 있다. 즉 A= [[1,2],[3,4],[5,6]] dot [x1,x2]T = 0 일때 [x1,x2]T는 모든 1,2 3,4 5,6에 대해 모두 수직이 되는 공간이다. 이러한 nonzero x가 존재하려면 먼저 A의 row vector가 linearly dependent함이 선행되어야 한다. 그 이유는 row vector가 linearly independent해서 full..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 고유값 분해는 이미 널리 알려지고 다양한 분야에서 쓰이고 있는 주성분분석(PCA: Principal Component Analysis) 등의 주요 머신러닝 알고리즘에서 중요하게 쓰이는 개념입니다. 이번 강의에서는 고유값 분해를 배우기 위한 첫 단계인 고유벡터와 고유값의 개념에 대해 배워보도록 하겠습니다. 정의 즉 A라는 정사각행렬에 어떤 벡터x를 곱했을때 결과값이 x의 정수배 람다가 되도록하는 x를 고유벡터 람다를 고유값이라고 한다. 고유벡터 고유값을 이용한다면 행렬의 곱연산을 획기적으로 줄여준다 큰 데이터를 다루는곳 (ml, computer vision등) 에서 행렬연산은 key operation이 되는 경우가 많은데 이런 행렬의 ..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.07 linearly independent하지만 orthogonal 하지는 않은 factor들에 대해 직교화를 통해 영향을 주지 않도록 만들고자 한다. 이러한 방식을 직교화라고 하는데 이 장에선 그람슈미트 직교화 방법에 대해 공부하고자 한다. [3 6 0] dot [1 2 2] != 0 normalize x1 =v1= [3/sqrt(45) 6/sqrt(45) 0]T x2와 v1의 내적 = 15/sqrt(45) v2' = x2- 15/sqrt(45) * v1 =[0 0 2]T normalize v2' = v2=[0 0 1]T v1 v2를 이용해 어떠한 matrix를 곱해 원래 벡터 x1 x2를 만들고자 한다. v1은 x1을 normalize..