특수 도메인 최적화를 위한 맞춤형 AI Coding Agent 구축 전략

Context

특정 SDK 및 CLI를 사용하는 Power Platform Code Apps의 니치한 환경. 일반적인 LLM 학습 데이터와 상충하는 Vanilla JavaScript 기반 설계 적용. 범용 모델의 잘못된 가이드로 인한 개발 효율 저하 문제 발생.

Technical Solution

• 계층적 프롬프트 스택(Model System, Application System, Instruction.md, Skill.md)을 설계하여 컨텍스트 정밀도 제어
• 프로젝트별 명명 규칙과 폴더 구조를 정의한 Instruction.md 파일을 통해 코드 일관성 유지
• 상황별 전문 지식을 분리한 Skill.md 파일을 도입하여 LLM이 필요 시에만 동적으로 컨텍스트를 참조하는 구조 설계
• VS Code Extension 플랫폼을 활용해 GitHub Copilot 인증, 터미널, 커스텀 UI를 통합한 하이브리드 개발 환경 구축
• Power Platform CLI 명령어를 버튼 기반 파이프라인으로 추상화하여 인증 및 배포 프로세스의 LowCode화 구현
• 결정 로그(Decision Log) 파일을 생성해 LLM이 To-do 리스트를 관리하고 완료된 태스크의 추론 과정을 제거하는 컨텍스트 최적화 방식 적용

Key Takeaway

비결정적인 LLM의 한계를 극복하기 위해 핵심 기능은 결정론적인 코드와 UI로 구현하고, 모델은 고수준의 가이드와 컨텍스트 제공에 집중시키는 설계 원칙.