단일 서버에서 글로벌 서비스까지
가상 미디어 서비스의 11단계 성장 경로와 YouTube·Instagram·Netflix 공개 사례
개요
확장 순서를 결정하는 병목
한 미디어 서비스가 게시물 조회, 파일 업로드, 영상 변환, 검색을 제공한다고 가정한다. 초기에는 낮은 부하와 적은 운영 인력 덕분에 한 서버로 충분하다. 첫 병목은 워크로드마다 다르다. 영상 변환은 CPU, 반복 조회는 DB, 파일 배포는 네트워크가 먼저 포화될 수 있다. 각 단계의 지표는 관측 후보이며 도입 임계치나 실측값을 가정하지 않는다.
모놀리스는 하나의 배포 단위, 모노레포는 코드 저장소 구성이다. 모놀리스도 복제해 수평 확장할 수 있다. 팀별 릴리스 주기, 장애 격리, 컴퓨팅 요구가 달라질 때 모듈러 모놀리스에서 서비스 추출을 검토한다. 서비스 분리 뒤에는 네트워크 호출과 일관성 비용이 생긴다. Gateway는 공통 인입 정책과 라우팅이 필요할 때 선택한다.
독립적으로 도입할 수 있는 확장 트랙
| 트랙 | 도입을 검토할 신호 | 지도에서 살펴볼 단계 |
|---|---|---|
| 배포와 보안 | 반복 배포, 공격성 요청, 접근 정책 필요. 소규모 서비스도 CI/CD·WAF·백업 적용 가능 | 08–09 |
| 전달과 읽기 | 정적 파일의 전송 비용 또는 반복 조회 증가. CDN과 캐시 각각 도입 가능 | 04 |
| 백그라운드 작업 | 이메일, 알림, 영상 변환 등 즉시 완료가 필요 없는 작업 | 05 |
| 데이터 배치 | 읽기·쓰기·저장 용량 병목을 각각 측정해 복제·파티셔닝·샤딩 선택 | 06, 11 |
| 지역과 복구 | 데이터 거주 요건, 먼 지역의 지연, 리전 장애 시 복구 목표 | 10 |
실제 서비스의 공개 사례
각 사례는 공개 당시의 내용을 요약한다. 단계 번호는 위 지도의 관련 주제를 가리킨다.
| 서비스 · 관련 단계 | 확장 문제와 대응 | 공개 자료 |
|---|---|---|
| YouTube · 04, 06, 11 | 영상 처리·전송 · 전용 VCU와 엣지 캐시 활용. MySQL은 Vitess로 샤딩 | VCU · 2021-04-21 / GGC · 게시일 미표기 / Vitess · 2018-02-05 |
| Instagram · 06, 11 | 사용자 데이터 증가 · PostgreSQL 수평 분할. 업로드 영상의 기본 인코딩 비용도 절감 | PostgreSQL · 2013-01-17 / 인코딩 · 2022-11-04 |
| Netflix · 04, 10 | 영상 전송 · Open Connect로 현지화. 고객 대면 서비스는 AWS 멀티 리전에서 운영 | Open Connect · 2021 / 멀티 리전 · 2016-02-12 |
초기·중간·대규모 구조 비교
| 구분 | 초기 · 01 | 중간 · 06 | 대규모 · 10–11 |
|---|---|---|---|
| 구성 | 웹·앱·DB를 한 VM에 배치 | 다중 AZ 앱 복제본, 캐시, Primary·Replica, 큐 | 지역 API, 도메인 서비스, 리전 간 복제, 검색·분석 계층 |
| 네트워크와 데이터 | 호스트 내부 DB 연결 | LB 인입, 캐시 미스 시 DB, CDN은 객체 원본 조회 | DNS로 지역 선택, API·정적 파일·복제 경로 분리 |
| 장애 범위 | 호스트 장애 시 서비스 중단 | 앱 장애 우회, 공유 DB는 여전히 중요 | 지역·서비스별 격리 가능, 공통 제어 계층과 복제 의존성 존재 |
| 운영과 비용 | 한 번 배포, 고정 호스트 비용 | 풀 예산과 백로그 관리, 복제·캐시·전송 비용 | 독립 배포와 복구 훈련, 중복 용량·전송·관측 비용 |
같은 요청의 경로 비교
GET /posts/42는 동적 API다. 인증이 필요한 요청은 캐시 정책이 명확할 때만 공유 캐시에 저장한다. 이미지나 영상 파일을 가져오는 후속 요청은 별도 CDN 경로를 쓴다.
| 구간 | 요청과 응답 |
|---|---|
| 초기 | Client → Web → Monolith → 같은 VM의 DB. 조회 결과가 같은 경로를 역순으로 반환 |
| 중간 | Client → L7 LB → Monolith → Cache. 미스면 Monolith → 허용된 DB Replica, Cache 채움 뒤 응답 |
| 서비스 분리 이후 | Client → WAF → LB → Gateway → Catalog → Cache 또는 DB. 게시물 읽기는 브로커 완료를 기다리지 않음 |
확장 전략 비교
| 전략 | 해결하는 병목 | 비용 또는 조건 |
|---|---|---|
| Scale-up | 단일 노드의 CPU·RAM·디스크 한계 | 구조가 단순하나 상한과 장애 범위 유지 |
| Scale-out | 앱·워커의 동시 처리량 | 상태 외부화와 공유 계층의 여유 필요 |
| Replication | 읽기 부하 분산과 장애 복구용 사본 | 복제 지연, 장애 승격과 읽기 일관성 |
| Partitioning | 큰 테이블의 스캔·보존 관리 | 쿼리에 분할 키가 있어야 가지치기 효과 |
| Sharding | 단일 노드의 쓰기·저장 한계 | 여러 노드로 분산. 핫 키·재샤딩·교차 샤드 비용 |
| Caching | 반복 조회와 원본 왕복 | TTL·무효화·동시 미스·권한별 캐시 키 관리 |
| Async Processing | 오래 걸리는 작업의 요청 경로 점유 | 접수와 완료를 구분. 지연·중복·실패를 별도로 추적 |
학습 목표
- 관측 지표로 앱, DB, 네트워크 병목을 구분한다.
- 캐시·큐·복제를 도입했을 때 요청과 데이터 경로가 어떻게 달라지는지 읽는다.
- 서비스 및 리전 분리에 따르는 운영·비용·정합성의 변화를 설명한다.
핵심 정리
- 서버 수를 늘려도 공유 DB, 디스크, 네트워크가 포화되면 처리량이 제한된다.
- 단계는 가상 서비스의 성장 사례다. 실제 도입 순서는 병목과 복구 목표에 따라 달라진다.
- CDN은 파일 전달, 큐는 작업 대기, DB Replica는 읽기 분산과 복제본 유지에 각각 쓰인다.
학습 확인
핵심 단계
- 1
단일 서버 · 웹 서버, 앱, DB를 한 VM에 배치
- 2
앱과 DB 분리 · DB를 별도 호스트 또는 관리형 DB로 이전
- 3
로드 밸런싱 · 웹 진입점을 LB로 교체하고 여러 AZ에 같은 앱 배포
- 4
캐시와 CDN · API 데이터 캐시와 정적 파일 배포 경로 분리
- 5
비동기 작업 · 업로드 접수와 변환 작업을 브로커·워커로 분리
- 6
DB 확장 · DB 읽기 복제본 도입, 최신 읽기와 일반 읽기 분리
- 7
서비스 분리 · 카탈로그와 미디어의 배포·데이터 소유권 분리
- 8
운영 자동화 · 앱 복제본을 컨테이너로 운영하고 배포·관측 제어 계층 추가
- 9
보안과 복원력 · API 인입 WAF와 워크로드 정책 적용
- 10
글로벌 분산 · Geo DNS와 별도 리전 추가, 리전 간 DB 복제
- 11
데이터와 비용 최적화 · 검색 읽기 모델과 분석 파이프라인을 운영 DB에서 분리
핵심 개념 및 실무 적용 분야
참고 자료
개념과 기술 규격을 추가로 확인할 수 있는 외부 자료입니다. 시각화는 교육 목적에 맞게 일부 절차를 단순화할 수 있습니다.
- YouTube · 전용 영상 트랜스코딩 VCU (2021-04-21)
- Google · Global Cache와 엣지 네트워크 (게시일 미표기)
- CNCF · YouTube에서 시작한 Vitess (2018-02-05)
- Instagram · Redis와 사진 샤드 조회 (2011-11-01)
- Instagram · PostgreSQL 확장 (2013-01-17)
- Meta · Instagram 영상 인코딩 (2022-11-04)
- Meta · Instagram Explore 추천 (2023-08-09)
- Netflix · Open Connect (2021)
- Netflix · 멀티 리전 클라우드 이전 (2016-02-12)
- Netflix TechBlog · 타임아웃과 의존성 격리 (2012-02-29)
- Netflix TechBlog · Chaos Kong과 리전 우회 (2015-09-25)
- Azure Architecture Center · Cache-Aside
- Azure Architecture Center · Queue-Based Load Leveling
- Azure Architecture Center · CQRS
- PostgreSQL · Hot Standby와 복제 시점
- Kubernetes · Deployment와 Rolling Update
- NIST SP 800-207 · Zero Trust Architecture
연관 포스트
로드 밸런싱과 Consistent Hashing
Round Robin, Least Connections, 해시 링과 서버 추가 시 재분배
CDN과 캐시 무효화 (Cache Invalidation)
브라우저 캐시, Edge POP, Origin 서버와 TTL·Purge·Stale-While-Revalidate 수명 주기
메시지 큐와 이벤트 기반 아키텍처
Producer, Broker, Consumer Group, Retry, DLQ로 이해하는 비동기 처리 흐름
DB Replication과 Sharding
같은 데이터를 복제하는 방법과 서로 다른 데이터를 분할하는 방법
모놀리식 vs 마이크로서비스 아키텍처(MSA)
단일 서버 내부 호출 vs 분산 서비스 간 네트워크 통신 흐름 비교