actionbook Chrome 확장 연동으로 API 미제공 GPT 모델 브라우저 자동 제어 달성함

Context

ChatGPT Plus/Pro 구독자에게만 제공되는 GPT-5.4 Pro 모델이 OpenAI API에서 지원되지 않는 상황임. Telegram 메시지로 ChatGPT를 호출하면서 브라우저를 직접 조작할 필요가 있었음.

Technical Solution

• actionbook CLI: AI 에이전트를 위한 사전 계산된 action manual을 제공하는 Browser Action Engine임
• Chrome Extension: 기존 Chrome 세션에 직접 연결하여 별도 브라우저 인스턴스 없이 조작함
• actionbook setup 실행 시 extension 모드를 선택하여 현재 로그인된 Chrome 제어함
• actionbook browser snapshot으로 페이지 레이아웃 캡처 후 ref-id 기반 요소 조작함
• actionbook browser fill/click/wait-idle/text 명령 체인으로 프롬프트 입력, 전송, 응답 대기, 결과 추출을 자동화함

Impact

앱 전환이나 복사-붙여넣기 없이 Telegram 대화 내에서 ChatGPT 모델 전체를 활용함. API 업데이트 없이도 ChatGPT dropdown에서 새 모델 즉시 선택 가능함.

Key Takeaway

Semantic description 기반의 action manual은 에이전트가 HTML 파싱이나 CSS selector 추측 없이도 웹사이트를 자율적으로 조작할 수 있게 함.