Claude Sonnet 5 공개
Opus급 Agentic 성능을 Sonnet 비용으로 구현한 Claude Sonnet 5 출시
tiktoken 대체 및 전용 API 도입으로 토큰 계산 오차 20% 제거
Token Counting Done Right: Stop Using tiktoken for Claude
Tokenizer 설계 차이에 따른 텍스트 분석 정밀도 및 플랫폼별 문자 집계 불일치 분석
Why Your Word Counter Gives Different Results Than Others (And How They All Work)
SQLite FTS5 trigram 도입을 통한 CJK 언어 검색 누락 해결 및 인덱스 최적화
Why SQLite FTS5's default tokenizer drops your Japanese substrings (and the one-line fix)
GPT-5.5 토큰 효율성 향상에도 불구, 실질 비용 49~92% 증가
GPT-5.5 may burn fewer tokens, but it always burns more cash
Tokenizer 변경 및 Reasoning 심화로 인한 비용 47% 증가 해결 전략
My Claude API Bill Jumped 47% and I Didn't Change a Single Prompt — Here's Why
7.5Hz 토크나이저 기반 3,200배 압축으로 90분 오디오 단일 패스 처리
One Open Source Project a Day (No.51): VibeVoice - Microsoft's Speech AI That Processes 90 Minutes of Audio in a Single Pass
VibeVoice - 오픈소스 프론티어 음성 AI 모델
7.5Hz 초저 프레임 레이트 기반 고효율 음성 AI VibeVoice 공개
Provider-Aware Token Counting를 통한 Multi-LLM 컨텍스트 오버플로 해결
The Hidden Challenge of Multi-LLM Context Management
Opus 4.6과 Opus 4.7의 토큰 비용 계산기
Opus 4.7: 출력 토큰 최적화 통한 추론 비용 11% 절감 및 Intelligence Index 향상
모델별 Tokenizer 효율 분석을 통한 API 비용 28% 절감
Opus 4.7 Uses 35% More Tokens Than 4.6. Here's What I'm Doing About It.
Opus 4.7 벤치마크 80% 달성 및 Adaptive Thinking 기반 추론 최적화 분석
Claude Opus 4.7
Anthropic, Claude Opus 4.7 출시 - 셀프 검증, 3.3배 고해상도 비전, 코딩 13% 향상
Self-Verification 도입으로 코딩 성능 13% 및 프로덕션 해결률 3배 향상
Claude Opus 4.7의 추론 성능 향상과 Token 비용 증가의 Trade-off 분석
Claude Opus 4.7: What the release notes don't tell you about token costs
작은 언어 모델 GuppyLM으로 언어 모델의 작동 원리를 직접 체험하기
9M 파라미터 GuppyLM으로 분석하는 LLM의 내부 동작 원리
Tushar Singla이 순수 Python으로 BPE 토크나이저를 처음부터 구현하여 GPT-2/GPT-3/GPT-4가 사용하는 토큰화 메커니즘의 작동 원리 파악
I built the algorithm behind ChatGPT from scratch — here's what I learned
Hugging Face가 Transformers v5에서 토크나이저를 파이썬 2개 파일(slow/fast)에서 1개 파일로 통합하고 아키텍처를 명시적으로 노출해 커스터마이제이션 가능성 향상
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
Technology Innovation Institute(TII)가 Falcon 3 기반으로 아랍어 토크나이저 32,000개 확장 및 임베딩 초기화 전략 도입으로 동일 크기 모델 대비 성능 우위 달성
Falcon-Arabic: A Breakthrough in Arabic Language Models
Intel Labs와 Hugging Face가 토크나이저 불일치 문제를 2-way 토크나이저 변환으로 해결해 서로 다른 모델 계열 간 Assisted Generation 적용 가능
Universal Assisted Generation: Faster Decoding with Any Assistant Model
Meta가 Llama 3 공개 언어모델을 출시해 어휘 크기 4배 확대(32K→128K 토큰)와 8배 많은 학습 데이터(15조 토큰) 도입
Welcome Llama 3 - Meta's new open LLM