피드로 돌아가기
How Many Log Lines Should You Send to Gemini? The Context Window Problem.
Dev.toDev.to
AI/ML

±50라인 Context Window 최적화 통한 Gemini 진단 속도 및 정확도 개선

How Many Log Lines Should You Send to Gemini? The Context Window Problem.

hiyoyo2026년 5월 1일2intermediate

Context

LLM 기반 로그 분석 시 전체 로그 전송으로 인한 Token Limit 도달 및 Response Latency 증가 문제 발생. 과도한 정보 입력으로 인해 실제 Error Signal이 Noise에 묻혀 진단 정확도가 저하되는 현상 확인.

Technical Solution

  • Error Index 기준 전후 ±50라인을 추출하는 Sliding Window 방식의 Context 구성으로 핵심 이벤트 시퀀스 확보
  • 단순 전체 전송 방식에서 벗어나 상황에 따라 ±50라인(Quick)과 ±200라인(Deep)을 선택하는 DiagnosisMode 도입
  • Raw Logcat의 반복적 구조를 제거하고 Compact Format으로 재구성하여 Token 사용량 최적화
  • 분석 효율 극대화를 위한 PII Masking 처리 및 전처리 로직 적용
  • LogRingBuffer를 통한 효율적인 로그 데이터 접근 및 문자열 결합 구조 설계

1. LLM 입력 데이터 설계 시 무조건적인 대량 전송보다 핵심 이벤트 중심의 ±N 라인 윈도우 설정 검토

2. Token 비용 절감 및 추론 속도 향상을 위해 Raw Data의 구조적 중복을 제거하는 Compact Formatting 적용

3. 일반적인 케이스(Quick)와 예외적 심층 분석(Deep) 모드를 분리하여 시스템 리소스 최적화

원문 읽기