피드로 돌아가기
GeekNewsAI/ML
원문 읽기
노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 학습
2PB NVMe Flash 기반 노르웨이 주권형 LLM 학습 인프라 구축
AI 요약
Context
영어 중심 범용 LLM의 토큰 효율성 저하 및 문화적 편향으로 인한 현지어 처리 한계 발생. 단순 미세조정 모델의 환각 현상 및 성능 부족을 극복하기 위해 고품질 도서관 아카이브 데이터를 활용한 자체 모델 학습 필요성 대두.
Technical Solution
- 448개 GPU와 64,512개 CPU 코어를 탑재한 HPE Cray Supercomputing EX 시스템 기반의 컴퓨팅 환경 구축
- LLM 학습 시 발생하는 빈번한 Checkpointing 입출력 부하 해결을 위해 2PB 규모의 NVMe Flash 스토리지 도입
- 영어-노르웨이어 간 어족 차이에 따른 LoRA 효율 저하를 고려하여 From-scratch 학습 방식 채택
- 국가 도서관 소유의 저작권 확보 데이터 및 신문사 라이선스 말뭉치를 통한 고품질 학습셋 구성
- 단순 생성 모델을 넘어 도서관 전체 색인 기반의 Retrieval Augmented Generation(RAG) 결합 구조 설계
- 특정 언어에 최적화된 Tokenizer 재설계를 통한 추론 속도 개선 및 토큰 공간 효율화 도모
실천 포인트
- 저자원 언어 모델 구축 시 단순 LoRA보다 From-scratch 학습의 언어 포착 능력이 우수한지 검토 - 대규모 LLM 학습 인프라 설계 시 체크포인트 저장 속도 확보를 위한 NVMe Flash 스토리지 계층 도입 고려 - 다국어 모델 적용 시 대상 언어의 토큰 분할 효율을 분석하여 Tokenizer 최적화 여부 결정 - 고품질 도메인 특화 데이터 확보를 통한 문화적 편향 제거 및 지식 공백 메우기 전략 수립