Show GN: LogXide — 12.5배 빠른 Rust 기반 Python 로깅 프레임워크

Context

Python의 기본 logging 모듈은 순수 Python으로 작성되어 있어 고부하 환경에서 I/O 작업 중 GIL을 점유하며 애플리케이션 전체 성능을 저하시킨다. 대규모 로깅 파이프라인이나 트래픽이 몰리는 구간에서 성능 병목이 발생한다.

Technical Solution

• 코어 로직과 핸들러를 Rust로 작성하고 PyO3로 Python과 바인딩: GIL 우회를 통한 성능 향상
• FastLoggerWrapper를 Python 단에 두어 비활성화된 로그 레벨 조기 제외: DEBUG 호출 시 로그 레벨이 INFO인 경우 PyObject 생성 없이 즉시 무시
• StreamHandler, HTTPHandler, OTLPHandler에 crossbeam 채널과 백그라운드 스레드 도입: 논블로킹 I/O로 주 애플리케이션 스레드 블로킹 방지
• FileHandler에서 Mutex를 사용해 동기 직접 write 수행: 필요 시에만 flush를 실행하여 I/O 오버헤드 극소화
• OTLPHandler, HTTPHandler, SentryHandler, ColorFormatter를 Rust 네이티브 수준으로 내장: 기존 logging.getLogger() 코드와의 호환성 유지

Impact

• FileHandler: 2.09M msgs/sec (stdlib 167K 대비 12.5배 빠름)
• StreamHandler: 2.14M msgs/sec (stdlib 11K 대비 186배 빠름)
• 빈 로그 호출 시 2~5배 속도 향상 (레벨 체크 최적화)
• C 기반 Picologging보다 실제 파일 포맷팅 I/O에서 25% 더 빠름
• 순수 Python Structlog보다 2.4배 빠름

Key Takeaway

Python에서 GIL 제약을 우회하려면 성능 병목 구간을 Rust 같은 저수준 언어로 구현하고 PyO3로 바인딩하는 방식이 효과적이며, 단순 조기 리턴(fast path) 최적화 + 비동기 I/O 패턴 조합이 로깅처럼 I/O 중심의 워크로드에서 극적인 성능 향상을 낸다.