세 가지 LLM 모델의 실제 사용 패턴을 분석해 각 모델의 강점과 한계를 개발 업무별로 정리한 사례

Context

개발자들이 Opus, Gemini, ChatGPT를 사용할 때 각 모델의 성향이 서로 다르게 나타난다. 실제 사용 경험과 온라인 커뮤니티 피드백 사이에 일관성이 있는지 검증할 필요가 있었다.

Technical Solution

• Opus의 특성 분석: 전체 컨텍스트를 먼저 읽고 분석하는 패턴을 확인했다. 4개 서비스를 거쳐 추적해야 버그 원인을 찾는 식으로 철저한 조사를 선행하는 경향을 파악했다.
• Gemini의 특성 분석: 검색 기반 모델의 특성상 모든 것을 비교 테이블로 변환하는 패턴을 확인했다. 답변을 급하게 도출한 후 방어하는 조기 확정의 한계를 식별했다.
• ChatGPT의 특성 분석: 톤 전환 능력을 검증했다. 같은 내용을 친화적, 업무적, 풍자적 톤으로 변형하는 데 활용되는 패턴을 확인했다.
• 사용자 피드백 상관 분석: 온라인 커뮤니티 논의 내용을 수집해 농담의 스테레오타입과 실제 피드백의 일치도를 검증했다.

Key Takeaway

각 LLM 모델의 "성격"은 사용자가 반복적으로 요청하는 작업의 누적된 결과다. Opus의 철저함, Gemini의 조사 지향성, ChatGPT의 톤 유연성은 모두 개발자의 실제 사용 패턴에서 비롯된 특성이다.