피드로 돌아가기
Dev.toAI/ML
원문 읽기
Promise.all 기반 병렬 LLM 요청과 Prompt 분리를 통한 플랫폼 맞춤형 콘텐츠 생성 시스템
I built an AI tool that rewrites one idea for Twitter, LinkedIn, and Reddit for the #H0Hackathon
AI 요약
Context
단일 아이디어를 여러 SNS 플랫폼 특성에 맞춰 변환하는 과정에서 단순 문구 수정 수준의 낮은 변별력 발생. LLM의 공유 지침으로 인한 출력 결과물의 유사성 및 순차적 API 호출 시 발생하는 응답 지연 해결 필요.
Technical Solution
- Next.js 및 Vercel 기반의 서버리스 아키텍처 채택을 통한 빠른 배포 및 확장성 확보
- Promise.all을 활용한 3개 플랫폼 대상 Groq API 병렬 요청 처리로 전체 응답 시간 최적화
- 플랫폼별 Prompt를 완전히 분리하고 공통 지침을 제거하여 출력물 간의 구조적, 톤앤매너 차별화 달성
- AWS DynamoDB 도입 및 userId(Partition Key)와 createdAt(Sort Key) 설계를 통한 사용자별 히스토리 쿼리 효율화
- 단일 API 응답 내에 다중 플랫폼 결과물을 통합 전송하는 구조로 프론트엔드 통신 횟수 최소화
실천 포인트
- 다중 LLM 요청 시 순차 처리가 아닌 Promise.all 등 병렬 처리 로직 적용 여부 검토 - 모델의 출력 유사성 발생 시 공통 Prompt를 제거하고 각 목적별로 완전히 격리된 Prompt 설계 적용 - 시계열 데이터 조회가 빈번한 경우 DynamoDB의 Sort Key를 활용한 효율적인 데이터 모델링 구현