피드로 돌아가기
How Taalas Prints an LLM onto a Chip With $169M in Funding
Dev.toDev.to
AI/ML

$169M 투자 유치, HBM을 제거한 LLM 하드와이어링 ASIC 설계

How Taalas Prints an LLM onto a Chip With $169M in Funding

Maverick-jkp2026년 6월 3일10분advanced

AI 요약

Context

기존 AI 칩은 SRAM 및 HBM을 통한 Weight 로딩 과정에서 발생하는 메모리 대역폭 병목과 막대한 전력 소모가 한계점으로 작용함. 범용성 확보를 위해 Programmable Memory를 유지하는 일반적인 설계 방식은 추론 비용과 지연 시간을 증가시키는 원인이 됨.

Technical Solution

  • Weight 값의 물리적 인코딩을 통한 HBM 및 외부 Weight 저장소의 완전한 제거
  • Analog Resistor Network를 활용하여 Weight를 전도도(Conductance) 값으로 물리적 구현
  • 옴의 법칙(Ohm's law)을 기반으로 전류 흐름만으로 곱셈 연산을 수행하는 Compute-in-Memory 구조 설계
  • Log-domain Arithmetic 적용을 통한 곱셈 연산의 덧셈 전환 및 트랜지스터 수 최소화
  • Fixed-function Hardware 설계를 통해 가변성을 포기하고 추론 효율성을 극대화한 전용 데이터패스 구축
  • 모델 수정이 불가능한 Non-rewritable 구조를 통한 하드웨어 레벨의 모델 동결 및 보안성 확보

실천 포인트

1. 극단적인 전력 제한 환경(Edge Device)에서 모델 업데이트 빈도가 낮다면 Fixed-function ASIC 검토

2. 메모리 I/O 병목이 심한 연산 구조에서 Analog Computing 도입을 통한 Latency 최적화 가능성 분석

3. 규제 산업(의료, 금융, 국방)의 Audit 요구사항 충족을 위한 하드웨어 기반 모델 동결 전략 고려

태그

#Inference Acceleration#Compute-in-Memory#Log-domain Arithmetic#Analog Computing#ASIC
원문 읽기