경사하강법

경사하강법은 영어로 Gradient Descent method 혹은 Gradient Descent Algorithm이며, 함수의 최솟값을 찾는 최적화 기법이다.
함수의 변화량(도함수)을 이용하여 계수를 조정하는 방식으로, 함수가 줄어드는 방향으로 계수를 계속 갱신해 나간다. 개발자는 함수가 한 번에 얼마나 줄어들게 하는지를 결정하는 패러미터를 정해야한다. 이 패러미터가 너무 작으면 최적화가 너무 오래 걸리고 너무 크면 최솟값을 지나칠 수 있다.
비용함수의 최솟값을 찾아야 하는 '인공지능' 관련 학과 입학 질문 단골 메뉴이다.