Closed-form 및 Gradient Descent를 통한 Linear Regression 구현 분석

Linear Regression From Scratch in Python (Just NumPy, No scikit-learn)

Jamal Hussein2026년 6월 25일5분beginner

AI 요약

Context

scikit-learn 등 고수준 라이브러리 사용으로 인한 내부 동작 원리 이해 부족 문제 발생. 단순 API 호출 방식은 모델의 최적화 과정과 수치적 근거를 파악하기 어렵게 만드는 한계 존재.

Least Squares Method 기반의 Closed-form solution을 통한 Slope 및 Intercept의 직접 산출
$\Sigma(x_i - \bar{x})(y_i - \bar{y}) / \Sigma(x_i - \bar{x})^2$ 공식을 통한 최소 제곱 오차 지점의 수학적 즉시 도출
Mean Squared Error의 편미분을 활용한 Gradient Descent 알고리즘 구현으로 파라미터 최적화 수행
Learning Rate와 반복 횟수 설정을 통한 Error Surface의 최저점 추적 및 가중치 갱신 구조 설계
$R^2$ (Coefficient of Determination) 지표 도입을 통한 모델의 설명력 및 적합도 정량적 측정
NumPy Vectorization을 활용하여 반복문을 제거한 효율적인 수치 연산 처리

실천 포인트

1. 모델 적합도 평가 시 단순 오차가 아닌 $R^2$ 지표를 통해 상대적 설명력 확인

2. 학습률(Learning Rate) 설정에 따른 수렴 속도와 발산 가능성 검토

3. 대규모 파라미터 설계 시 Closed-form의 계산 복잡도 대신 경사하강법 적용 고려

태그