Sigmoid 기반 Logistic Regression을 통한 97.4% 정확도의 Binary Classification 구현

Context

Linear Regression 적용 시 출력값이 0과 1의 범위를 벗어나 확률값으로 활용 불가능한 한계 존재. 이진 분류 데이터의 비선형적 관계를 처리하기 위한 확률 기반 분류 모델의 필요성 대두.

Technical Solution

• Linear Regression의 Raw Score를 Sigmoid Function에 통과시켜 0과 1 사이의 확률값으로 변환하는 구조 설계
• S-Curve 형태의 Sigmoid 함수를 통해 극단적인 입력값(Large/Small z)을 0과 1로 수렴시켜 확률적 해석 가능케 함
• Threshold(기본 0.5) 설정을 통한 Probability의 Class Label(0 또는 1) 결정 메커니즘 구축
• StandardScaler를 적용한 Feature Scaling으로 Model Convergence 속도 최적화 및 수렴 오류 방지
• predict_proba 메서드를 활용하여 단순 Label이 아닌 클래스별 확률 밀도를 추출하는 유연한 추론 구조 채택
• max_iter 파라미터 조정을 통한 최적화 알고리즘의 수렴 보장 및 ConvergenceWarning 해결

Impact

• Breast Cancer 데이터셋 기준 97.4%의 높은 Classification Accuracy 달성

Key Takeaway

단순한 선형 경계 기반 모델이라도 적절한 Activation Function(Sigmoid)과 Feature Scaling을 결합하면 고성능의 Binary Classifier 구축 가능