AutoDA 및 SemanticLog 기반 AIOps 정밀도 향상 및 1.28M TPS 달성

Context

기존 O&M 시스템의 포맷 매칭 기반 로그 분석으로 인한 Semantics Gap 발생 및 높은 False Positive 비율 직면. 마이크로서비스 버전 업데이트에 따른 데이터 분포 변화와 막대한 어노테이션 비용으로 인한 Generalization Bottleneck 존재.

Technical Solution

• Gumbel-Softmax 미분 가능 샘플링을 적용한 AutoDA-Timeseries 설계를 통한 시계열 데이터 증강 확률 및 강도 최적화
• 24차원 Timing Statistical Feature를 Stacking Augmentation Layer에 통합하여 시계열 데이터의 Autocorrelation 및 Time Dependency 보존
• 단순 구문 분석에서 벗어난 8+16 계층적 Semantic Categorization 시스템 도입을 통한 로그의 의미론적 이해 구현
• GenLog 자동 구축 프레임워크를 활용한 고품질 Semantic Tagging Template 확장으로 모델의 일반화 성능 강화
• 산업 현장의 하드 제약 조건인 Low Latency 및 고처리량 요구사항을 충족하는 고효율 파싱 아키텍처 설계

Impact

• Semantic Log Parsing의 피크 처리량 1.28 million logs/sec 달성
• TCN 기반 분류 정확도 0.730(+6.7%), ROCKET 기반 0.721(+5.2%)로 SOTA 베이스라인 상회
• LogHub-2.0 대비 데이터 소스 규모 9배, 템플릿 수량 24.5배 확장

Key Takeaway

도메인 특화 데이터(시계열, 로그) 처리 시 일반적인 이미지/텍스트 전처리 기법의 단순 전이보다 데이터의 내재적 특성(Time Dependency, Semantics)을 반영한 맞춤형 증강 및 파싱 전략이 필수적임.