Transformer 기반 LLM을 활용한 비정형 데이터 처리 및 Agent 아키텍처 설계

Context

기존의 Rule-based 로직은 명확한 정의가 필요한 정형 데이터 처리에만 유효함. 정규표현식과 조건문 기반의 접근 방식은 자연어와 같은 비정형 데이터 처리 시 높은 유지보수 비용과 낮은 유연성이라는 한계점을 가짐.

Technical Solution

• Attention Mechanism 기반의 Transformer 아키텍처를 통한 입력 텍스트 내 문맥적 중요도 파악 및 차세대 토큰 예측 수행
• Raw String을 Token 단위로 분절 처리하여 모델의 연산 효율성을 확보하고 API 비용 및 제한 사항을 관리하는 구조 설계
• Context Window의 한계를 극복하기 위해 과거 메시지 및 출력 토큰을 포함한 전체 버짓을 관리하는 메모리 최적화 전략 적용
• 단순 Prompt-Response 구조를 넘어 Tools, Memory, Orchestration을 결합한 Agent 아키텍처를 통한 시스템 확장성 확보
• 외부 API 및 DB 연동 기능을 갖춘 Tool 사용 설계를 통해 LLM의 Hallucination 문제를 해결하고 실행 가능한 결과 도출