RAG 벤치마킹 기반 SEQUOIA 구축 및 Agent Harness 설계 최적화

Context

단순한 LLM 모델 업그레이드만으로는 복잡한 실무 태스크의 성능 한계를 극복하기 어려운 구조적 제약 존재. 특히 RAG 파이프라인의 다양한 구성 요소 간 상호작용과 Agent의 상태 관리 및 도구 활용 능력에 대한 정밀한 제어 체계 부족.

Technical Solution

• 7종의 RAG 파이프라인 교차 검증을 통한 최적의 Chunking 전략 및 Embedding 모델 조합 도출
• 검색 품질 향상을 위한 Vector Database와 Re-ranker의 계층적 배치 구조 설계
• LLM 모델 의존도를 낮추고 성능을 극대화하는 Orchestration, Memory, Evaluation Loop 중심의 Agent Harness 아키텍처 구축
• 외부 도구 상호작용의 안정성 확보를 위한 Iterative Step 기반의 상태 관리 로직 구현
• Langfuse를 활용한 Prompt, Response, Latency, Cost의 실시간 추적 및 자기 관찰(Self-observability) 패턴 적용