Stateless LLM의 Context 유지 기법과 Tokenizer 기반 텍스트 처리 한계 분석

Context

LLM의 기본 구조인 Stateless 특성으로 인해 모델 자체적으로 이전 대화 상태를 유지할 수 없는 한계 존재. 입력 데이터의 문자 단위 인식이 불가능한 Tokenization 프로세스로 인한 언어 처리 제약 발생.

Technical Solution

• Stateless Prompt Wrapper 설계를 통한 대화 맥락 유지
• 전체 Chat History를 매 요청마다 Processor에 재전송하는 Context Injection 방식 채택
• 텍스트 데이터를 수치 기반의 Token 단위로 분절하는 Parser 적용
• 인간의 Manual Labeling 데이터를 통한 Computer Vision 모델의 객체 인식 학습
• 문자열을 숫자 ID로 변환하는 Chunking 기법으로 연산 효율성 확보