피드로 돌아가기
Dev.toAI/ML
원문 읽기
GPT-4o Vision과 FDA API 연동을 통한 약물 상호작용 스캔 시스템 구축
Stop Guessing Your Meds: Building a Multi-Drug Conflict Scanner with GPT-4o & FDA API
AI 요약
Context
곡면 용기 및 광택 포장재로 인한 기존 OCR 기술의 낮은 인식률 문제 발생. 단순 텍스트 추출을 넘어 약물 성분 간 상호작용을 검증할 수 있는 신뢰 기반 데이터 파이프라인 필요.
Technical Solution
- GPT-4o Vision 기반의 Multimodal AI를 활용하여 비정형 이미지에서 Generic Name 추출
- LLM의 환각 현상을 방지하기 위해 AI를 단순 데이터 Extractor로 제한하고 FDA OpenData API를 Source of Truth로 설정한 검증 구조 설계
- Node.js Backend를 중계 서버로 활용하여 Image Buffer 처리 및 API 오케스트레이션 수행
- React Native와 expo-camera를 통한 실시간 이미지 캡처 및 Base64 인코딩 전송 파이프라인 구축
- 추출된 성분 리스트 기반의 교차 쿼리 로직을 통해 Drug-Drug Interaction(DDI) 여부를 판별하는 필터링 알고리즘 적용
실천 포인트
- AI 모델의 출력을 직접 사용자에게 제공하지 않고 공식 API를 통한 2차 검증 단계 구축 - 비정형 이미지 데이터 처리 시 일반 OCR보다 문맥 이해도가 높은 Multimodal LLM 도입 검토 - 의료 데이터 등 도메인 특성상 높은 신뢰도가 필요한 경우 AI를 단순 구조화 도구로 활용하는 전략 채택