문맥의 핵심을 짚어내는 Self-Attention의 작동 원리

Context

단어 임베딩과 Positional Encoding만으로는 단어 간 복잡한 관계 표현에 한계 존재. 문장 내 대명사가 지칭하는 정확한 대상 식별을 위한 문맥 파악 메커니즘 필요.

Technical Solution

• 문장 내 모든 단어가 서로 어떤 관계를 맺는지 계산하는 Self-Attention 메커니즘 도입
• 각 단어가 자기 자신을 포함한 다른 모든 단어와 갖는 연관성을 수치화하는 방식
• 계산된 관계 수치를 기반으로 각 단어의 최종 표현 방식을 결정하는 구조
• 특정 단어(예: 'it')와 연관성이 높은 단어(예: 'pizza')에 더 높은 유사도 점수 부여
• 유사도 점수가 높은 단어의 정보를 더 많이 반영하여 대명사의 의미를 구체화하는 인코딩 전략

Key Takeaway

단순한 위치 정보나 개별 의미를 넘어 단어 간의 상대적 관계를 동적으로 계산하여 문맥적 의미를 확보하는 설계 원칙.