피드로 돌아가기
Dev.toBackend
원문 읽기
Domain Anchoring을 통한 Overlap Ceiling 17×에서 44.86×로 확장
When Stability Improves Performance (Threading)
AI 요약
Context
Async Event Loop와 Thread Pool을 분리한 TokenGate 시스템에서 관련 작업들이 서로 다른 Core에 분산 배치되는 현상 발생. 이로 인한 Cache Line의 잦은 Write-back 및 Interconnect 트래픽 증가로 인해 처리량이 정체되는 Friction Ceiling 문제 직면.
Technical Solution
- Token 기반 Concurrency 제어를 통한 Async 조정 계층과 Threaded 실행 계층의 완전한 분리 설계
- Weight Class(HEAVY, MEDIUM, LIGHT)에 따른 Core Range 할당 및 FIFO 기반의 Staggered Routing 적용
- Sticky Token Registry 도입을 통한 동일한 Operation Type과 Args를 가진 토큰의 Core Pinning 및 Data Locality 확보
- Hash Conductor 설계를 통한 Lead Token 기반의 SHA-256 Seed 생성 및 자식 토큰으로의 Seed 전파를 통한 도메인 고정
- Thread-local Storage를 활용한 Seed 전파로 호출 사이트의 명시적 설정 없는 자동 라우팅 구현
- Lead Operation의 참조 카운트 관리를 통한 Seed 생명주기 제어 및 자원 해제 메커니즘 구축
Impact
- 최대 Overlap 수치 17×에서 44.86×로 비약적 상승
- Wave 3부터 15까지 Latency 변동폭을 0.04ms 수준으로 유지하며 안정적인 성능 달성
- 전체 131,068개 토큰 처리 과정에서 Zero Failure 기록 및 평균 Latency 0.386ms 달성
실천 포인트
- 동시성 시스템의 성능 병목이 단순 자원 부족인지, Cache Miss로 인한 Coordination 비용 증가인지 분석 - 관련 데이터-작업 간의 친화성을 고려하여 동일 Core에 배치하는 Data Locality 최적화 검토 - 전파 가능한 Context(Seed/ID)를 설계하여 하위 호출 체인의 실행 도메인을 강제하는 전략 고려