1.6T 파라미터 MoE와 1M 토큰 컨텍스트의 LongCat-2.0 기반 Agentic AI 구현

Context

기존 Dense 모델의 막대한 연산 비용과 Quadratic Scoring으로 인한 메모리 병목 현상 존재. 특히 대규모 코드베이스 처리 시 컨텍스트 윈도우 확장과 하드웨어 효율성 사이의 Trade-off 해결이 시급한 상황.

Technical Solution

• Mixture-of-Experts(MoE) 구조를 통한 1.6T 파라미터 확장 및 토큰당 평균 48B 파라미터 활성화를 통한 연산 효율 최적화
• LongCat Sparse Attention(LSA) 도입으로 Quadratic 비용을 제거하고 대규모 컨텍스트 처리 능력 확보
• Streaming-aware Indexing(SI)을 통한 메모리 파편화 해결 및 HBM 대역폭 활용 극대화
• Cross-Layer Indexing(CLI) 기반의 인덱싱 패스 공유로 추론 단계의 중복 연산 제거 및 비용 절감
• Hierarchical Indexing(HI)의 2단계 스코어링 구조를 통한 후보군 필터링 및 토큰 선택 속도 향상
• N-gram Embedding 모듈 통합을 통한 코어 임베딩 공간 100배 확장 및 표현력 강화