kwan's note

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이전내용인 최소제곱직선에 그리고 정규방정식에 이어서 작성하였습니다. reminder-by-kwan.tistory.com/30 최소제곱 문제(Least Squares Problem) 출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이번 내용은 초반에 고등학교 과정과 겹치는것이 많아 일부는 설명을 하지 않고 슬라이드로 대체하였습니다. 내적의 성질 vector reminder-by-kwan.tistory.com reminder-by-kwan.tistory.com/31 정규방정식 출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이전내용인 최소제곱직선에 이어서 작성하였습니다. reminder-by..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이전내용인 최소제곱직선에 이어서 작성하였습니다. reminder-by-kwan.tistory.com/30 최소제곱 문제(Least Squares Problem) 출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이번 내용은 초반에 고등학교 과정과 겹치는것이 많아 일부는 설명을 하지 않고 슬라이드로 대체하였습니다. 내적의 성질 vector reminder-by-kwan.tistory.com 이전 수업에 이어서 최소제곱직선을 만족하기 위해 xhat은 다음의 normal equation을 만족해야 한다. AT(b-Axhat)=0 ATb=ATAxhat=0 argmin ll b- Ax ll 는 이를 제곱한것과 같은값이다...

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 이번 내용은 초반에 고등학교 과정과 겹치는것이 많아 일부는 설명을 하지 않고 슬라이드로 대체하였습니다. 내적의 성질 vector 의 norm 벡터의 norm은 길이를 나타낸다. 벡터의 norm은 자기 자신과의 내적이다. 벡터의 상수배의 norm은 norm의 상수배와 같다. 벡터의 u,v의 거리는 ll v-u ll 즉 차이벡터의 norm이다. 내적과 각도의 관계 overdetermind system variable보다 equation의 숫자가 더 많을때 해가 존재하지 않는다. 이런경우 근사적으로 해를 구하기 위한 방법으로 제곱을 최소화 하는 방법으로 해결하는 가장 기초적인 근사방법이다. error의 총점을 계산하는 방법으로 제곱의 합을..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.06 전사함수는 공역=치역이 되는 함수를 말한다. 3차원 벡터를 2차원으로 보내는 변환을 생각해보자 모든 2차원벡터들의 합집합이 공역인데 치역은 해당 변환의 결과로 얻어질 수 있는 2차원 벡터들의 집합이다. 치역이 가장 커질때가 공역과 같아질때이다. 이를 onto라고 한다. onto가 되려면 공역의 원소의 갯수보다 정의역의 원소의 갯수가 많거나 같아야 한다. 상수 n과 m에 대해 nm이면 n demension 벡터에서 m demesion으로의 변환은 onto일 수 없다. ( ex)공간을 평면으로 투영하면 여러점이 한개의 평면위로 모이는 경우가 발생한다.) 즉 linearly depedent해진다. one to one neural netwo..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.05 주어진 정의역에서 두개의 벡터를 뽑아서 선형결합하여 나온 결과값이 선형결합에서의 계수를 각각 취했을때 나온 결과값과 동일할때 lenear transform(선형 변환)이라고 한다. 즉, 위 사진에서처럼 두가지 계산의 결과가 같아야한다. y=3x+2를 보자. x=1을대입하면 5 x=2대입하면 8 3x1+4x2=11 3x11+2 =35 3x5+4x8= 47 그럼에도 불구하고 bias가 들어갔을때에도 이를 선형 변환이라고 한다. 그 이유는 [3 2] [x 1]t = 3x + 2 이렇게 표현한다면 R^2 -> R로가는 식으로 변형하면 bias가 없어져 선형변환이 된다. [x1 x2]T 는 standard basis의 상수곱 x1[1 0]T ..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.05 벡터들의 부분집합이 선형결합에 닫혀있을때 subsapce라고 한다. subspace는 벡터들의 span과 개념적으로 동일하게 사용할 수 있다, basis(기저) subspace 가 주어졌을때 어떤 벡터집합이 subspace를 fully span하고 linearly indenpendent할때 해당 벡터 집합을 기저벡터(basis)라고 한다. change of basis: subspace가 동일하고 subspace내에 표현하고자 하는 점이 동일한 경우 기저벡터를 다르게 잡으면 새로운 계수를 이용해 표현할 수 있다. demension: 해당 subspace 기저벡터(basis)의 갯수 column space of matrix: span o..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.05 선형독립의 정의1. span의 증가여부로 판단하는 정의(practial definition) 벡터를 하나씩 넣으면서 span을 지속적으로 증가시켜주는경우에만 선형 독립으로 본다. 만약 span을 넓히지 않는다면 선형 종속으로 본다. 추가) 하지만 전체 차원이 정해진경우 ex)3차원공간내에서 4개의 벡터가 존재한다면 최소한 한쌍의 벡터는 선형 종속이 된다. Ax =b 라는 방정직으로 보고 A를 3X4행렬로 보는경우가 이에 해당한다. 즉 미지수의 갯수보다 방정식의 갯수가 적으면 무수히 많은 해가 존재한다. 정의2. formal definition homogeneous equation에 대해 x1 ... xn =0 인 trivial sol..

출처: 부스트코스-인공지능을 위한 선형대수 수강일시:2021.01.05 span은 어떠한 벡터의 선형 결합으로 이루어진 직선 평면 공간등의 n차원 집합이다. [1,2]T 와 [3,4]T의 span은 두 벡터의 선형 결합으로(상수곱의 합) 만들어 낼 수 있는 2차원 직선이 된다. 따라서 3개의 평행하지 않은 서로다른 벡터의 span은 3차원 공간 전체가 된다. 이런 개념을 이용해 문제를 해결해보자 몸무게,키,흡연여부로 기대수명이 정해진다면 다음의 방정식을 통해 모든 기대수명을 측정할 수 있다. 아까 전에 본 span의 개념으로 본다면 a1x1+a2x2+a3x3=b라는 문제에 대해 해의 존재 여부를 [60 65 55]T [5.5 5.0 6.0]T [1 0 1]T 세 벡터를 선형 결합하여 [66 74 78]T..