피드로 돌아가기
We Hit 99.1% on the LOCOMO Benchmark. Here's How.
Dev.toDev.to
AI/ML

Predicate Filtering 제거를 통한 LOCOMO 벤치마크 99.1% 달성

We Hit 99.1% on the LOCOMO Benchmark. Here's How.

Phillip Neho2026년 4월 12일2분intermediate

AI 요약

Context

AI 에이전트의 Multi-hop Reasoning 구현을 위해 저장된 메모리 간 관계를 추적하는 구조 설계. 기존 시스템은 특정 Predicate 기반의 엄격한 필터링 방식을 채택하여 서로 다른 용어로 저장된 동일 의미의 데이터 누락으로 인한 경로 단절 문제 발생.

Technical Solution

  • Predicate 중심의 선제적 필터링 전략을 완전히 제거한 데이터 추출 설계
  • Entity 기반의 전수 검색 후 애플리케이션 레벨에서 유연하게 필터링하는 후처리 로직 도입
  • Predicate 일치 여부에 의존하지 않는 검색 구조를 통한 데이터 가용성 극대화
  • Cloudflare Workers 환경에서 약 50ms의 Low Latency를 유지하는 최적화 구현
  • 복잡한 NLP나 Fuzzy Matching 도입 대신 단순화된 데이터 접근 경로 설계
  • 불필요한 제약 조건 제거를 통한 Multi-hop 추론 경로의 연속성 확보

실천 포인트

데이터 검색 시 엄격한 스키마나 Predicate 필터링이 추론 경로를 차단하고 있지 않은지 검토하고, 복잡한 매칭 알고리즘 도입 전 제약 조건 자체를 제거하는 단순화 전략을 우선 고려할 것

태그

#Predicate Filtering#Latency Optimization#AI Memory#Multi-hop Reasoning#LOCOMO Benchmark
원문 읽기