본문 바로가기
반응형

전체 글123

연쇄법칙과 역전파 / Chain Rule, Backpropagation / 행렬의 내곱 역전파 증명 https://jangpiano-science.tistory.com/114?category=914257 미분 함수(중앙차분)를 이용한 경사하강법 파이썬 구현 및 시각화 / gradient descent using differentiation 경사하강법(gradient descent)이란, 함수에서 기울어진 곳으로 이동해 함수의 극소값을 찾는 최적화(optimization) 알고리즘입니다. 최적화란, jangpiano-science.tistory.com 앞 포스팅에서, 수치미분을 사용하여 신경망의 가중치 매개변수의 기울기를 구하는 방법을 소개하였습니다. 우리는 다음과 같은 순서로, 손실함수의 극소값을 찾았습니다. 1. 손실함수에 대한 가중치 매개변수의 기울기를 구한다. 2. 매개변수를 극솟값 쪽으로 이동하.. 2021. 2. 20.
[회귀]다중공선성 / Multicollinearity / R 다중공선성 문제(Multicollinearity)란, 회귀모형을 구성하는 설명변수(X)간의 강한 상관관계가 나타나는, 회귀분석 시 부정적인 영향을 끼치는 문제 입니다. 다섯개의 설명변수 (X1, X2, X3, X4, X5) 가 회귀모형에 포함되어, Y와의 선형관계를 이룬다고 할때, 어떠한 설명변수가 다른 설명변수와 완벽한 선형 독립이 아닌것이 관측될때, 회귀분석에서는 '회귀모형에 다중공선성 문제가 존재한다'고 이야기 하죠. 설명변수 사이에 완벽한 선형의 상관관계에 대해서는 '완벽한 공선성 (Exact Collinearity)'라고 부릅니다. aX1 + bX2 = c 에서 a,b,c는 모두 상수이므로, 변수 X1은 X2에 어떤 수가 대입되는지에 따라 완벽하게 자동적으로 결정되죠. 위와 같은 변수간의 관계를.. 2021. 2. 17.
테일러 급수, 매클로린 급수, 테일러 정리/ Taylor's series, Maclaurin's series, Taylor's Theorem 함수에는 여러가지 요소를 포함할 수 있죠. 따라서, 다양한 수학적 요소들이 포함될 수 있는, 수많은 복잡한 함수에 대해서 우리는 모두 정의내릴 수 없습니다. 예를들어, f(x) = sinx + ln(6x) + cos(2x) 라는 함수는, 함수안에 여러가지 함수가 포함된 경우이기 때문에, 상당히 복잡하다고 할 수 있습니다. 테일러 급수를 언급할때, 항상 매클로린 급수가 언급된다고 하여도 과언이 아닌데요. 매클로린 급수(Maclaurin's series)는, 테일러 급수에서 a 에 0을 대입한 식이라고 생각하시면 됩니다. 즉, a = 0 에서의 테일러 급수 입니다. 이런 특수한 경우를 '매클로린 급수'라고 따로 언급한 이유는, 테일러 급수가 그만큼 a = 0 에서 많이 응용되고 사용된다는 뜻이겠죠. 무한대로.. 2021. 2. 16.
행렬의 고유값과 고유벡터/ R 행렬의 고유벡터와 고유값이란 무엇을 의미할까요? 고유벡터(eigenvector)란, 정방행렬에 곱해졌을때의 값이 고유벡터의 상수배가 되는 영벡터(Zero vector) 이 아닌 벡터를 의미합니다. 여기에서 '상수배'를 고유값(eigenvalue) 이라고 하죠. 고유값과 고유벡터는 모두 정방행렬에 대해서만 정의됩니다. 정방행렬(square matrix)이란, 같은 수의 행과 열을 가져, 정사각형의 형태를 지니는 행렬을 의미합니다. n개의 행과 n개의 열을 가지는 정방행렬을, n*n 행렬 (n by n matrix) 혹은 n차 정방 행렬(nth order matrix)이라고 부릅니다. A라는 n*n 정방행렬과, x라는 고유벡터, λ로 나타내어지는 고유값의 관계를 정의하면 다음과 같이 나타낼 수 있습니다. 이.. 2021. 2. 16.
반응형