🥘 From Pixels to Proteins: Mastering Calorie Estimation with GPT-4o Vision and SAM

Context

기존 AI 영양 추적 시스템은 단순 분류 모델에 의존하면서 음식 아이템 간 경계 인식 부족으로 정확한 칼로리 계산에 실패했다. 특히 비전 기반 칼로리 추정에서 "스테이크와 으깬 감자의 경계"를 구분하지 못하면 결과가 부정확하다.

Technical Solution

• 이미지 세그멘테이션 작업을 SAM(Segment Anything Model)으로 처리: 이미지의 모든 객체에 대해 개별 마스크 생성
• GPT-4o Vision을 추론 엔진으로 활용: 세그멘테이션 결과와 원본 이미지를 입력받아 무게·부피 추정 및 영양가 계산
• React Native 앱 → FastAPI 백엔드 → SAM → GPT-4o → 영양 데이터베이스 로직 순서의 아키텍처 구성
• FastAPI /analyze-meal 엔드포인트로 이미지 업로드 후 JSON 형식의 식품 목록, 총 칼로리, 신뢰도 반환
• 구조화된 프롬프트를 사용하여 GPT-4o에 포크·접시 크기 같은 시각적 단서 기반 무게·부피 추정 강제

Impact

아티클에 정량적 수치 제시 없음

Key Takeaway

비전 모델과 LLM의 역할 분담을 명확히 하면 정확도를 높일 수 있다: 픽셀 단위 정확성이 필요한 세그멘테이션은 SAM으로, 문맥 기반 추론은 GPT-4o로 처리하면 각 모델의 강점을 극대화한다.