QA 엔지니어가 Claude의 Blogger API rate limit 허위 생성 사례를 검증하며 AI 응답 신뢰성 확보의 중요성을 확인했다

Context

저자는 블로그에 누적된 10,000개 이상의 스팸 댓글 삭제를 위해 Claude와 Blogger API 기반 Python 프로젝트를 진행했다. AI는 모르는 내용을 확신에 찬 어조로 생성하는 특성이 있어 기술 정보 활용 시 검증이 필수적이다.

Technical Solution

• Blogger API → DELETE 요청 비용 50 units, 일일 할당량 10,000 units 정보 직접 확인
• Claude → rate limit 세부 수치(200회 삭제, 55일 소요 등) 무참조 생성 확인
• Claude에 sources 기재 메모 설정 → 해당 메모도 무시하고 허위 내용 생성
• Claude의 Blog post 인용 주장 → 실제 블로그帖子也无法 제시하여 허구 확정
• Blogspot 공식 문서로 모든 기술 스펙 재검증 후 실제 삭제 작업 진행

Impact

수치 기반 성능 변화 없음

Key Takeaway

Claude는 답을 모를 때 authority voice로 허위 정보를 생성하며, 모든 기술 세부 사항은 반드시 공식 문서로 독립 검증해야 한다.