피드로 돌아가기
Dev.toAI/ML
원문 읽기
Unity Catalog 없이 samples.tpch 기반의 Databricks AI Agent 구현
How I Built a Databricks AI Agent with No Custom Tables (OpenAI Agents SDK + Gradio)
AI 요약
Context
기존 Databricks 에이전트 구축 시 Unity Catalog 설정 및 Vector Search 인덱스 생성이라는 필수 전제 조건으로 인한 높은 초기 진입 장벽 존재. 인프라 설정 오버헤드를 최소화하며 즉시 실행 가능한 대화형 에이전트 구조 필요.
Technical Solution
- OpenAI Agents SDK와 AsyncOpenAI 도입을 통한 비동기 기반 에이전트 런타임 확보
- Databricks Model Serving의 Llama 3.3 70B 모델을 OpenAI 호환 엔드포인트로 연결하여 추론 엔진 구성
- Spark Context 부재 문제를 해결하기 위한 Databricks SQL Connector 기반의 데이터 액세스 계층 설계
- Databricks Notebook의 지속적 Event Loop 충돌 방지를 위한 nest_asyncio.apply() 패치 적용
- AGENTS.md 명세 파일 기반의 Codex 프롬프팅을 통한 제약 사항 및 SQL 쿼리 구조의 코드 자동 생성
- OAuth 자동 주입 방식의 Databricks Apps 배포를 통한 보안 토큰 관리 최적화
실천 포인트
1. Databricks Apps 환경 내 Spark Context 사용 불가 여부 확인 및 SQL Connector 대체 검토
2. Async 기반 SDK 사용 시 Python Event Loop 충돌 방지를 위한 nest_asyncio 적용 여부 체크
3. 인프라 설정 최소화를 위한 기본 제공 데이터셋(samples.tpch) 활용 가능성 타진
4. AGENTS.md와 같은 정형화된 지침 파일을 통한 LLM 코드 생성 파이프라인 구축