Cloud TPU v3-8 기반 CNN 연산 병목 제거 및 Throughput 최적화

Context

CIFAR-10 데이터셋 기반 CNN 학습 시 CPU의 순차 처리 한계로 인한 연산 병목 발생. GPU 도입 시 VRAM-Core 간 데이터 전송 지연인 Memory Wall 문제로 인해 하드웨어 성능을 완전히 활용하지 못하는 한계 존재.

Technical Solution

• Systolic Array 아키텍처 기반 TPU 도입을 통한 매트릭스 연산의 Memory Access 최소화 및 Throughput 선형적 확장
• tf.distribute.TPUStrategy 기반 Synchronous Mirroring으로 8개 코어 간 모델 복제 및 Gradient 동기화 구현
• XLA 컴파일러를 통한 Operator Fusion 적용으로 Conv2D-ReLU 연산 간 메모리 대역폭 요구량 감소
• TFRecord 및 Protocol Buffers 도입을 통한 파일 시스템 오버헤드 제거 및 순차적 바이너리 읽기 최적화
• tf.data.AUTOTUNE 및 .prefetch()를 활용한 Software Pipelining 구축으로 CPU-TPU 간 Data Starvation 방지