2023년 오픈소스 LLM 생태계가 대규모 모델 중심에서 데이터 품질·다양한 아키텍처·접근성 개선으로 전환

Context

2022년까지 LLM 개발 트렌드는 모델 파라미터 수를 늘리는 것이 성능 향상의 핵심이었다. 하지만 이 접근은 막대한 계산 자원이 필요했고, 커뮤니티의 참여와 재현 가능성을 제한했다.

Technical Solution

• BLOOM(176B 파라미터)을 BigScience 협업으로 개발: 46개 자연언어 + 13개 프로그래밍 언어 멀티링골 데이터셋(350B 토큰)으로 학습, 모델 가중치 및 데이터 큐레이션 프로세스 공개
• OPT(Open Pre-trained Transformer)를 Meta에서 공개: 오픈소스 모델 패밀리로 릴리스하여 상용 모델과 성능 동등성 검증
• Fine-tuning 전략 다양화: RLHF(Reinforcement Learning from Human Feedback), Adapter 기법, 모델 병합(merging) 등 신규 기법 도입으로 소규모 컴퓨팅 자원으로도 특화 가능
• 양자화(Quantization) 기법 개선: 더 작은 모델 크기로 배포하여 개인 장비에서도 LLM 운영 가능
• State Space Model 탐색: Mamba(선택 메커니즘 추가), Striped Hyena(고속 컨볼루션 커널) 등 Transformer 대안 아키텍처 등장

Key Takeaway

오픈소스 LLM의 성공은 모델 크기 경쟁에서 데이터 품질·다양한 아키텍처·접근성으로 전환했으며, 공개된 가중치와 재현 가능한 학습 과정이 전 세계 연구자와 개발자의 대규모 실험을 가능하게 했다는 점이 핵심이다.