KNN 알고리즘의 분류 및 회귀 적용 방법을 Python 구현과 함께 단계별로 설명하는 머신러닝 튜토리얼입니다.

Context

KNN은 학습 데이터 분포에 대한 가정을 하지 않는 비모수적 알고리즘으로, 새로운 입력 데이터의 예측을 위해 가장 가까운 k개의 이웃을 찾아投票하거나 평균을 계산한다. 대용량 데이터셋에서는 모든 학습 포인트와의 거리 계산이 필요하여 예측 속도가 저하되고, 고차원 데이터에서는 거리 개념이 의미를 잃는 차원의 저주 문제가 발생한다.

Technical Solution

• euclidean_distance 함수를 활용하여 두 포인트 간 거리를 계산한다.
• KNN 클래스는 k값과 isclassifier 플래그로 분류 및 회귀 모드를 지원한다.
• fit 메서드는 학습 데이터를 저장하며 별도의 모델 파라미터를 생성하지 않는다.
• _predict_single 메서드는 argsort로 k개의 최근접 이웃을 추출하고, 분류 시 Counter의 most_common으로 다수결 투표한다.
• 회귀 시에는 np.mean으로 이웃 값들의 평균을 예측값으로 반환한다.

Impact

make_classification 데이터셋으로 분류 정확도를, make_regression 데이터셋으로 RMSE를 측정하여 분류 및 회귀 태스크 모두에서 유효한 성능을 확인했다.

Key Takeaway

KNN은 별도의 훈련 단계 없이 데이터를 저장만으로 동작하지만, 예측 시 전체 학습 데이터와의 거리 계산이 필요하므로 데이터셋 크기와 차원数を 고려한 적용이 필수적이다.