Information Bottleneck 설계를 통한 고차원 Semantic Representation 추출 전략

Context

단순 데이터 압축을 위한 Autoencoder 구조는 Identity Mapping에 의한 단순 암기 문제로 인해 추상적 특징 추출에 한계 노출. 특히 Local Texture 학습에 치중하는 Random Masking 방식은 글로벌 구조 파악이 필수적인 Medical Imaging 등 고도화된 시각 지능 구현에 부적합함.

Technical Solution

• Non-linear Structure 학습을 위해 다층 신경망 기반의 Encoder-Decoder 아키텍처 채택
• Random Masking 대신 Block Masking을 통한 정보 결손 유도로 Local Interpolation 경로 차단
• 정보의 단순 복원이 아닌 글로벌 컨텍스트 기반의 추론을 강제하는 MAE(Masked Autoencoders) 구조 설계
• Denoising Autoencoders(DAE)의 정보 퇴화 방식과 차별화된 정보 완전 제거 방식을 통한 Semantic Reasoning 유도
• Latent Space(z) 내 Noise 제거 및 Semantic Structure 보존을 위한 정보 병목(Information Bottleneck) 최적화