API 기반 Idempotent 데이터 동기화를 통한 Medium 댓글 통합 모더레이션 구축

Context

Medium 아티클 외부 배포 시 발생하는 댓글 관리 파편화 해결 필요. Markup 변경에 취약한 Scraping 방식의 한계를 극복하기 위해 안정적인 API 엔드포인트 기반의 통합 운영 스택 설계.

Technical Solution

• API 엔드포인트(/article/{id}/responses)를 활용한 스케줄링 기반 데이터 수집 구조 설계
• ON CONFLICT (response_id) DO NOTHING 구문을 통한 데이터 중복 방지 및 Idempotency 확보
• moderation_queue 테이블을 통한 수집-검토-처리 단계의 비동기 워크플로우 분리
• /user/{user_id} 엔드포인트의 Author Bio 및 Follower Count 데이터를 결합한 Spam 판별 시그널 강화
• PII 유출 방지를 위해 외부 API 대신 자체 모델을 활용한 NLP Toxicity Scoring 파이프라인 구성
• 시스템 부하 방지를 위한 Polling Rate-limit 적용으로 리소스 최적화