Gradient=0 지점 탐색을 통한 Error Function 최솟값 도출 알고리즘

Context

함수의 최솟값을 찾는 최적화 과정에서 파라미터 업데이트의 방향성과 속도를 결정해야 하는 과제 직면. 기존의 단순 탐색 방식으로는 고차원 공간에서의 효율적인 수렴 지점 확보에 한계 존재.

Technical Solution

• Error Function의 기울기인 Gradient를 활용한 파라미터 업데이트 방향 설정
• Gradient가 가리키는 가장 가파른 상승 방향의 반대 방향으로 이동하는 반복적 최적화 수행
• 기울기 값의 크기에 비례한 이동 거리 조절을 통한 수렴 속도 최적화
• Gradient가 0에 수렴하는 지점을 최솟값으로 판단하는 정지 조건 설계
• 현재 위치의 Slope를 체크하고 반대 방향으로 이동하는 반복 루프 구조 적용