개발자가 AI 에이전트에 반복 작업 설명 부담을 줄이는 AgentHandover Mac 앱을 직접 구축했다

Context

Claude Code, OpenClaw, Codexe와 같은 AI 코드 에이전트는 사용자 작업 방식을 스스로 학습할 방법이 없어 매 세션마다 컨텍스트를 반복 입력해야 했다. PR 리뷰 방식, 클라이언트 이메일 톤, 기술 선택 이유 등 명시적 설명 없이는 에이전트가 사용자 작업 스타일을 파악할 수 없었다.

Technical Solution

• Mac 메뉴 바 앱 AgentHandover가 화면 활동을 캡처하고 로컬 VLM(Qwen 3.5 via Ollama)이 각 프레임에 사용 앱, 행동, 다음 행동 예측을 주석 처리한다
• 화면 캡처 후 중복 제거와 시맨틱 임베딩으로 다양한 날짜의 유사한 작업을 클러스터링하여 패턴을 식별한다
• Focus Record 모드는 기록 후 태스크를 한 번 수행하고 설명 질문에 답하면 Skill을 생성한다
• Passive Discovery 모드는 백그라운드에서 활동 분류기를 활용해 작업과 노이즈를 구분하며 3회 이상 관찰 후 패턴을 Skill으로 합성한다
• 11단계 로컬 파이프라인이 단계별로 처리하며 교차 세션 링크로 화요일 중단된 작업과 목요일 완료 작업을 연결한다

Impact

기존 명시적 설명 방식 대비 컨텍스트 입력 시간 절감 효과

Key Takeaway

에이전트 학습은 명시적 프롬프트가 아닌 실제 작업 행동에서 추출한 구조화된 Skill로 구현해야 에이전트가 사용자 워크플로우를 정확히 이해할 수 있다