경사하강법(Gradient Descent)은 최적화 알고리즘의 일종으로, 함수의 최소값을 찾기 위해 사용된다. 주로 머신러닝, 딥러닝, 통계학 등의 분야에서 모델의 파라미터를 업데이트하는 데 사용된다. 경사하강법은 주어진 함수의 기울기(또는 경사)를 계산하여, 현재 위치에서의 기울기가 감소하는 방향으로 이동함으로써 최적화 과정을 진행한다.

경사하강법의 기본 과정은 다음과 같다. 먼저, 함수의 초기값을 설정하고, 해당 지점에서의 기울기를 계산한다. 기울기는 함수의 각 변수에 대한 편미분으로 나타낼 수 있다. 이후, 기울기의 반대 방향으로 일정한 크기(학습률, learning rate)만큼 이동한다. 이 과정을 반복하면서 함수의 최소값에 접근하게 된다.

경사하강법의 종류에는 여러 가지가 있다. 일반적인 경사하강법은 전체 데이터셋을 사용하여 기울기를 계산하는 '배치 경사하강법(Batch Gradient Descent)'이다. 이 방법은 안정적이지만, 계산 비용이 커지는 단점이 있다. 이에 비해 '확률적 경사하강법(Stochastic Gradient Descent, SGD)'은 각 데이터 포인트마다 기울기를 계산하여 즉시 업데이트하는 방법으로, 계산 속도는 빠르지만, 경로가 불안정할 수 있다. '미니 배치 경사하강법(Mini-batch Gradient Descent)'은 이 두 가지의 장점을 결합하여, 일정 크기의 샘플 집합을 사용하여 기울기를 계산하고 업데이트하는 방식이다.

경사하강법에서는 학습률의 설정이 매우 중요하다. 학습률이 너무 크면 최적값을 지나쳐 버려 불안정한 학습을 초래할 수 있고, 반면 너무 작으면 수렴 속도가 느려져 효율성이 떨어진다. 따라서 적절한 학습률을 선택하는 것이 중요하다.

또한, 경사하강법은 로컬 미니마에 빠질 위험이 있다. 이 문제를 해결하기 위해 다양한 기법들이 제안되었으며, 예를 들어 모멘텀(momentum) 기법, 아담(Adam) 최적화 알골리즘 등이 있다. 이들 방법은 경사하강법의 단점을 보완하고 효율성을 높이기 위한 다양한 전략을 포함하고 있다.