Hugging Face Transformers에 Constrained Beam Search 기능 추가로 텍스트 생성 과정에서 특정 단어나 구문을 강제 포함 가능

Context

기존 Beam Search는 토큰을 순차적으로 생성하기 때문에 생성 과정 중 어느 시점에 제약 조건의 토큰들을 삽입해야 하는지, 그리고 여러 개의 제약 조건(선택적/필수)을 어떻게 조화롭게 처리할지 판단할 수 없었습니다. 예를 들어 신경 기계 번역에서 사전 조회를 통해 특정 단어가 번역에 포함되어야 함을 알고 있어도 모델에게 이를 강제할 방법이 없었습니다.

Technical Solution

• Constraint 객체의 서브클래스를 통한 제약 조건 정의: PhrasalConstraint(특정 구문 강제), DisjunctiveConstraint(여러 선택지 중 하나 선택), MultiConstraint(여러 제약 동시 처리)
• OrderedConstraints 구현: 제약 조건이 충족되어야 하는 순서를 명시적으로 지정
• TemplateConstraints 구현: 특정 구조의 템플릿(예: ["the", "", "School of", "", "in"])을 기반으로 생성 가이드
• Beam Search 알고리즘 수정: 토큰 생성 시 현재 상태에서 제약 조건을 동적으로 평가하여 유효한 후보만 필터링
• Transformers 라이브러리에 통합: 기존 generate() API와 호환되도록 제약 객체를 인자로 전달 가능하게 구현

Key Takeaway

외부 지식(사전, 지식 베이스)을 대규모 언어 모델의 텍스트 생성에 직접 주입하기 위해서는 생성 알고리즘 수준에서 제약 조건을 명시적으로 인코딩해야 하며, 단일 제약이 아닌 여러 제약의 유연한 조합을 지원하는 것이 실무 활용성을 높입니다.