Linear Equation 기반 Weight 최적화를 통한 AI 신경망 설계 핵심 분석

Context

인공신경망의 복잡한 내부 동작을 단순 선형 방정식으로 이해하려는 시도. 단순 선형 결합만으로는 현실 세계의 복잡한 비선형 데이터 패턴을 학습하는 데 한계가 존재함.

Technical Solution

• $y = mx + b$ 형태의 Slope-intercept form을 Neural Network의 $y = wx + b$ 구조로 확장 설계
• 입력 데이터별 중요도를 결정하는 Weight(w)를 도입하여 다변수 입력값에 대한 가중치 제어
• 기본 시작점 및 오프셋 조절을 위한 Bias(b) 설정을 통한 모델 유연성 확보
• Random Start 상태의 Weight와 Bias를 반복적으로 수정하여 예측 오차를 줄이는 Training 프로세스 적용
• 선형 결합 결과값($z$)을 Activation Function에 통과시켜 Linearity 문제를 해결하고 비선형 데이터 학습 가능 구조 구현
• 다층 신경망 구성 시 각 Layer의 비선형성을 확보하여 단순 직선 모델 이상의 표현력 획득