JSON vs TOON: LLM 입력 포맷만 바꿔도 토큰 효율은 달라질까¶

핵심 내용¶

설계 철학: 데이터 구조의 명확성과 이해 품질을 유지하면서 토큰 소비 감소

핵심 아이디어: - 반복되는 객체 리스트를 테이블 형태로 표현 - 필드명을 한 번만 선언하고 값을 행 단위로 나열 - 들여쓰기로 계층 구조 표현 - 중복 키 반복 제거

JSON:

[
  {"name": "Alice", "age": 30, "city": "Seoul"},
  {"name": "Bob", "age": 25, "city": "Busan"},
  {"name": "Carol", "age": 35, "city": "Daegu"}
]

TOON (예상 형태):

name    age  city
Alice   30   Seoul
Bob     25   Busan
Carol   35   Daegu

지표	JSON	TOON
토큰 사용량	기준	39.6% 감소
정확도	69.7%	73.9%

✅ 단순하고 반복적인 데이터 구조
✅ 요약, 비교, 정보 추출 태스크
✅ API 응답, 로그 데이터 분석
✅ 토큰 비용이 중요한 대규모 서비스

❌ 복잡한 추론이 필요한 태스크
❌ 중첩 구조가 깊은 데이터
❌ 스키마가 자주 변하는 데이터

"포맷 최적화만으로도 특정 태스크 유형에서 토큰 효율성을 개선할 수 있다"

단순히 입력 형식을 바꾸는 것만으로 39.6% 토큰 절감 + 정확도 향상이 가능하다는 점이 인상적