피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 E2B 기반 200Byte 이하 초경량 재난 페이로드 생성 시스템 구축
CrisisLens: Compressing Disaster Scenes into 200-Byte Emergency Payloads with Gemma 4
AI 요약
Context
재난 상황 내 음성 통신의 채널 포화 및 LoRa/Meshtastic 네트워크의 극심한 대역폭 제한(패킷당 228Bytes)으로 인한 시각 정보 전달 불가 문제 발생. 기존의 클라우드 기반 AI는 네트워크 단절 환경에서 작동이 불가능하며 고사양 디바이스에 의존하는 한계 존재.
Technical Solution
- 하드웨어 제약 조건(4GB+ RAM)을 고려하여 31B, 4B 모델 대신 Edge 배포에 최적화된 Gemma 4 E2B 모델 채택
- Open-ended Generation 대신 사전에 정의된 Closed Vocabulary(6종 Incident Type, 4종 Severity Level)를 적용하여 모델 응답의 신뢰성 및 일관성 확보
- 모델의 생성 오류로 인한 JSON 구조 파손을 방지하기 위해 Naive Truncation 대신 필드별 우선순위에 따른 Post-processing 기반의 Word-boundary Trimming 로직 구현
- 텍스트 생성 단계가 아닌 Schema 정의 단계에서 정수 및 Enum 타입을 강제하여 페이로드 크기를 200Bytes 이하로 제어
- 외부 서버 연결 없이 Android 기기 내에서 이미지 분석부터 JSON 추출까지 완료하는 Fully On-device 아키텍처 설계
Impact
- 데이터 패킷 크기를 200Bytes 이하(예시: 107Bytes)로 압축하여 저대역폭 Mesh Network 전송 가능 구현
- Mid-range Android 기기(4GB+ RAM) 및 Raspberry Pi 5 수준의 저사양 하드웨어에서도 구동 가능하도록 진입 장벽 완화
실천 포인트
1. 극단적 리소스 제약 환경에서는 모델 파라미터 크기보다 추론 환경(RAM)과 데이터 전송 규격(Byte)을 우선순위로 설계할 것
2. LLM의 출력 불안정성을 해결하기 위해 프롬프트 내 Closed Vocabulary를 정의하여 분류 문제(Classification)로 치환할 것
3. LLM의 생성 결과물을 그대로 신뢰하지 말고, 도메인 제약 사항(예: 패킷 크기)을 강제하는 결정론적 Post-processing 레이어를 반드시 추가할 것