k-NN의 메모리 기반 검색 한계를 Linear Classifier의 학습 기반 예측으로 해결

Context

이미지 데이터를 단순 Pixel Array로 처리할 때 발생하는 Semantic Space와 Pixel Space의 괴리로 인해 기존 접근 방식의 한계 노출. 특히 k-NN 방식은 픽셀 단위의 미세한 변화(Shift, Lighting)에 민감하며 데이터 규모 증가에 따른 연산 비용 상승 문제 보유.

Technical Solution

• Pixel Space의 불안정성 해결을 위해 단순 유사도 측정에서 학습 기반 함수 도출 방식으로 전환
• $O(N)$의 추론 시간을 갖는 k-NN의 Memory-based Lookup 구조를 Constant Time 연산이 가능한 Linear Classifier 구조로 개선
• $Score = W \times x + b$ 수식을 통한 Weight Matrix 학습으로 데이터의 핵심 Feature를 추출하는 Representation Learning 구현
• 전처리 및 Hyperparameter(k-value, Distance Metric) 최적화를 통한 Validation 프로세스 정립
• 고차원 데이터의 거리 왜곡 문제를 해결하기 위해 단순 비교가 아닌 파라미터 최적화 방식의 예측 모델 채택