고객은 절대 기다려주지 않는다: 빠른 데이터 서빙으로 고객 만족도를 수직 상승 시키는 법¶

출처: 토스 기술 블로그
저자: 이세찬 (토스페이먼츠 Data Engineer)
읽은 날짜: 2025-12-18
태그: #DataEngineering #Elasticsearch #Druid #StarRocks #아키텍처

핵심 내용¶

토스페이먼츠가 2022년 대비 2024년 거래량 약 2배 증가에 대응하기 위해 구축한 하이브리드 데이터 서빙 아키텍처.

기술 진화 과정¶

모놀리식 → MSA 환경 전환
Elasticsearch (검색) → Apache Druid (시계열) → StarRocks (조인)

Apache Druid¶

장점: - 시계열 데이터 최적화 - 비트맵 인덱싱 - 저비용 구조

한계: - 멱등성 처리 부재 - 조인 기능 제한 - 운영 복잡도 높음

StarRocks 도입 효과¶

안정적 멱등성 처리 → 데이터 정합성 확보
Colocation Group 활용 → 조인 성능 84.6% 개선
Prefix Index → 데이터 스캔 99.68% 감소

인상 깊은 부분¶

"Colocation Group 활용으로 조인 성능 84.6% 개선"

최종 아키텍처 3원칙: | 원칙 | 설명 | |------|------| | 스캔 최소화 | Prefix Index, 파티셔닝 | | 사전 계산 + 멱등성 | 집계 미리 계산, 중복 처리 보장 | | 조인 최적화 | Colocation Group으로 네트워크 비용 제거 |

내 생각 / 적용점¶

배운 점¶

단일 솔루션 X → 용도별 엔진 조합 (하이브리드)
Elasticsearch: 검색 / Druid: 시계열 집계 / StarRocks: 조인 + 멱등성
멱등성 처리가 데이터 정합성의 핵심

LLM 서빙과 연결¶

LLM 로그/메트릭 저장에도 비슷한 패턴 적용 가능
실시간 모니터링: Druid 계열
분석/리포팅: StarRocks 같은 OLAP

후속 학습¶

[ ] StarRocks vs ClickHouse 비교
[ ] Colocation Group 동작 원리
[ ] 멱등성 처리 패턴 (exactly-once semantics)