피드로 돌아가기
GeekNewsAI/ML
원문 읽기
OpenAI Codex Record & Replay: 작업을 한 번 보여주면 재사용 가능한 Skill로 변환
User Workflow 관찰 기반의 재사용 가능한 LLM Skill 자동 생성 구조
AI 요약
Context
UI 기반의 복잡한 워크플로를 자연어 프롬프트만으로 정의할 때 발생하는 설명의 한계와 모호함 존재. 사용자의 암묵적 선호도와 세부 동작 규칙을 정밀하게 캡처하기 위한 새로운 컨텍스트 주입 방식 필요.
Technical Solution
- Computer Use 기능을 통한 사용자의 실제 OS 조작 및 화면 콘텐츠의 실시간 관찰 및 데이터 수집
- 수집된 행동 패턴을 분석하여 실행 조건, 필수 입력값, 단계별 절차, 결과 검증 로직으로 구성된 Skill 구조체 정의
- 가변 데이터(파일, 날짜 등)를 Parameter화하여 정적인 스크립트가 아닌 동적 실행이 가능한 컨텍스트로 변환
- 생성된 Skill 초안에 대해 사용자의 명시적 보완 과정을 거쳐 파일명 규칙 및 판단 기준 등의 Hidden Preference 반영
- Browser Action 및 설치된 Plugin과의 조합을 통해 다중 도구 체인(Tool Chain) 형태의 작업 수행
실천 포인트
- 단순 반복 작업의 자동화 범위 설정 시 성공 기준이 명확한지 확인 - Skill 생성 전 가변 입력값과 고정된 규칙을 미리 구분하여 정의 - 민감 데이터 유출 방지를 위해 더미 데이터를 활용한 시연 환경 구축 - 팀 단위 배포 및 메타데이터 관리가 필요한 경우 Skill 기반 생성 후 Plugin 패키징 검토