피드로 돌아가기
Dev.toAI/ML
원문 읽기
Token Limit 자동 최적화 및 Context 자동 구성 기반의 VS Code 확장 도구 개발
I got tired of copying code into ChatGPT — so I built a VS Code extension
AI 요약
Context
코드 스니펫 복사 및 붙여넣기 과정에서 발생하는 수동 Context 구성의 높은 마찰력. LLM의 Token Limit으로 인한 무작위 텍스트 삭제 및 입력 데이터 품질 저하 문제 발생.
Technical Solution
- 파일 경로 및 라인 번호를 포함한 구조적 데이터 추출로 AI의 코드 위치 파악 능력 향상
- 폴더 단위의 데이터를 Markdown 블록으로 일괄 변환하여 입력 데이터의 가독성 확보
- 8k, 32k, 128k 등 모델별 Token Limit에 맞춘 자동 텍스트 최적화 로직 구현
- Import 구문 분석을 통한 관련 파일 자동 탐색 및 연결된 Context 제공 체계 구축
- Project Structure의 Tree View 생성 기능을 통한 전체 시스템 아키텍처 전달력 강화
실천 포인트
1. LLM 입력 데이터 구성 시 파일 경로와 라인 번호와 같은 메타데이터 포함 여부 검토
2. 모델별 Token Limit을 고려한 자동 Trimming 전략 수립 및 적용
3. 단순 코드 전달이 아닌 Import 분석 기반의 의존성 파일 포함 로직 설계 고려