Kimi K2.6, 스레드 토폴로지 재설계로 처리량 최대 185% 향상

Context

Java 기반 매칭 엔진 exchange-core의 좁은 Hot path와 높은 지연 시간 문제 발생. 기존 4ME+2RE 스레드 구조로 인한 과도한 동기화 및 컨텍스트 스위칭 오버헤드가 병목 지점으로 작용.

Technical Solution

• CPU 및 Allocation Flame Graph 분석을 통한 시스템 핫스팟 식별
• 12가지 최적화 전략의 반복 테스트를 통한 최적 아키텍처 도출
• Thread Topology를 4ME+2RE에서 2ME+1RE로 축소하여 조정 및 동기화 비용 감소
• 워커 간 주문 및 리스크 체크 파티셔닝 방식 변경을 통한 데이터 전송 효율 최적화
• 1,000회 이상의 Tool Call과 4,000라인 이상의 코드 수정을 통한 시스템 수준 리라이트 수행

Impact

• Medium Throughput: 0.43 MT/s → 1.24 MT/s (+185% 향상)
• Performance Throughput: 1.23 MT/s → 2.86 MT/s (+133% 향상)
• Local Inference: Zig 구현을 통해 15 tokens/sec → 193 tokens/sec로 성능 개선

Key Takeaway

단순 함수 단위 최적화를 넘어 프로파일링 기반의 Thread Topology 재설계와 같은 시스템 아키텍처 수준의 변경이 실질적인 Throughput 향상의 핵심 동력임.