정제된 Accessibility 데이터셋 기반 LLM Agent로 PR 68% 해결률 달성

Building a general-purpose accessibility agent—and what we learned in the process

Natalie Guevara2026년 5월 15일11분intermediate

AI 요약

Context

LLM이 학습한 방대한 코드 데이터 내 Accessibility Antipattern 편향으로 인한 낮은 생성 품질 발생. 단순 가이드라인 제공만으로는 복잡하고 맥락 의존적인 웹 접근성 요구사항을 충족하기 어려운 한계 직면.

구조화된 Accessibility Issue 템플릿 및 메타데이터를 활용한 고품질 Reference Corpus 구축
단순 프롬프팅 대신 실제 Remediation 사례(Issue-PR 쌍)를 통한 Contextual Example 제공으로 LLM의 Fuzzy Matching 성능 극대화
Token 소비 최적화를 위한 Sub-agents 기반의 분할 처리 아키텍처 도입
정해진 Template을 통한 정보 전달 체계 구축으로 비결정론적 LLM 출력의 일관성 확보
방법론적-선형적(Methodical, Linear) 명령 실행 순서 설계를 통한 추론 정확도 제고
PR Reviewer Sentiment 분석 툴링을 통한 Agent 피드백 루프 및 지속적 Instruction 개선 체계 마련

실천 포인트

1. LLM의 Antipattern 편향을 상쇄할 수 있는 실제 정답셋(Correct Examples)을 확보했는가

2. 무분별한 Full-context 전달 대신 Sub-agents를 통한 Token 최적화 전략을 수립했는가

3. LLM의 출력을 표준화하기 위한 Preformatted Template을 정의했는가

4. 정량적 지표 외에 실제 사용자(리뷰어)의 Sentiment를 수집하는 피드백 루프가 존재하는가

태그