공부와 취미 사이 그 어딘가

지난 글에서 손실함수에 대해 다루며 최적화(Optimization)에 대해 잠깐 언급했었다. 이번 글에서는 최적화 알고리즘 중 많이 사용되는 경사하강법(Gradient Descent)에 대해 알아보려한다. 1. 경사하강법(Gradient Descent) 이란? : 최적화(Optimization) 알고리즘 중 하나로, 함수의 기울기(경사)를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시켜 최적화하는 과정을 말한다. 반대 개념으로는 경사상승법(Gradient Ascent)이 있다. 많이 드는 예시로 산에서 하산하는 예시를 든다. 산에서 하산할 때, 가장 빠른 방법은 기울기가 급한 길로 내려오는 것이다. 우리는 보통 함수의 최소값을 찾을 때, 미분 계수를 이용하는 방법을 사용하지..