Decision Tree의 해석력과 Neural Network의 표현력을 결합한 Deep Neural Decision Trees

Context

전통적인 Decision Tree는 모델 해석력이 높으나 복잡한 데이터 패턴 학습에 한계 존재. Deep Learning 모델은 성능은 강력하나 내부 의사결정 과정을 이해하기 어려운 Black-box 특성 보유. 두 구조의 장점을 결합하여 미분 가능한(Differentiable) 의사결정 나무 구조 필요.

Technical Solution

• Decision Tree의 분기 조건을 Soft-assignment 방식으로 변경하여 역전파(Backpropagation)가 가능한 Neural Network 구조 설계
• 각 노드의 임계값(Threshold)과 분기 가중치를 학습 가능한 파라미터로 설정하여 경사 하강법(Gradient Descent) 적용
• 다층 구조의 Decision Tree를 계층적으로 쌓아 올려 복잡한 비선형 관계를 학습하는 Deep Architecture 구현
• 하드한 분기 대신 시그모이드(Sigmoid) 함수 기반의 확률적 경로 선택 방식을 통해 모델의 연속성과 미분 가능성 확보
• 최종 리프 노드(Leaf Node)의 출력값을 가중 합산하여 최종 예측값을 도출하는 앙상블 기반 추론 방식 채택

Key Takeaway

모델의 예측 성능과 설명 가능성(Explainability)은 상충 관계가 아니며, 아키텍처 설계를 통해 두 가지 가치를 동시에 달성 가능함.