NVIDIA가 LogitsProcessorZoo 라이브러리를 공개하여 언어 모델의 토큰 생성 확률을 직접 수정함으로써 출력 제약 적용, 핵심 문구 강제, 객관식 답변 유도 등 작업별 맞춤형 제어 가능

Context

일반적인 토큰 생성 방식(탐욕 검색, 빔 검색, nucleus sampling)은 단순한 확률 기반 선택만 제공하므로 출력 형식 강제, 특정 구조 준수, 작업별 제약 조건 적용이 어렵다. 언어 모델의 raw logits를 수정하여 세밀한 제어가 필요하지만 기존 Transformers 라이브러리의 LogitsProcessor API만으로는 실무 작업별 맞춤형 솔루션 구축이 번거롭다.

Technical Solution

• LogitsProcessor 기반 구조 활용: Hugging Face Transformers의 LogitsProcessor API를 기반으로 모듈식 프로세서 설계
• SequenceLengthLogitsProcessor 제공: 토큰 시퀀스 길이를 제어하여 생성 길이를 명확히 제한
• PhraseRewardLogitsProcessor 제공: 특정 문구나 키워드를 강제로 삽입하여 RAG(Retrieval-Augmented Generation) 응답에 검색 결과 기반 정보 포함
• MultipleChoiceLogitsProcessor 제공: 객관식 문제 답변 시 주어진 선택지 중 정확히 하나만 선택하도록 제약
• Hugging Face generate() 메서드 호환성 유지: 기존 모델 API와 완벽 호환되므로 통합 비용 최소화

Key Takeaway

Logits 처리를 통한 세밀한 제어는 형식 준수, 제약 조건 강제, 작업별 맞춤형 동작이 필수적인 프로덕션 시스템에서 모델 출력의 안정성과 신뢰성을 크게 향상시킨다. 모듈식 라이브러리 설계로 다양한 작업에 재사용 가능한 프로세서를 조합하면 생성 모델의 활용 범위를 확대할 수 있다.