[가상면접 사례로 배우는 대규모 시스템 설계 기초] 2장. 개략적인 규모 추정

`개략적인 규모 추정(back-of-the-envelope estimation)`은 보편적으로 통용되는 성능 수치상에서 사고 실험(thought experiments)을 행하여 추정치를 계산하는 행위로써, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것이다.

 

개략적인 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 함.

특히, `2의 제곱수`나 `응답지연(latency) 값`, 그리고 `가용성에 관계된 수치들`을 기본적으로 잘 이해하고 있어야 함.

2의 제곱수

• 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 알아야 한다.
• 최소 단위 : 1바이트 = 8비트
• ASCII 문자 하나가 차지하는 메모리 크기 : 1바이트

표 2-1

응답지연 값

통상적인 컴퓨터에서 구현된 연산들의 응답지연 시간은 표 2-2와 같다.

그림 2-1은 한 구글 엔지니어가 이 수들을 알기 쉽게 시각화하기 위해 개발한 도구로 시각화한 수치이다.

표 2-2, 그림 2-1

그림 2-1에 제시된 수치들을 분석한 결과는 다음과 같다.

• 메모리는 빠르지만 디스크는 아직도 느리다.
• 디스크 탐색(seek)은 가능한 한 피하라.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 보통 여러 지역(region)에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.

가용성에 관계된 수치들

• 고가용성(high availability)은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어이다.
• 고가용성은 퍼센트(percent)로 표현하는데, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미함.
  대부분의 서비스는 99% ~ 100% 사이의 값을 갖는다.
• SLA(Service Level Agreement)는 서비스 사업자(service provider)가 보편적으로 사용하는 용어로,
  서비스 사업자와 고객 사이에 맺어진 합의를 의미함
• 가용시간은 관습적으로 숫자 9를 사용해 표시한다.

표 2-3

예제: 트위터 QPS와 저장소 요구량 추정

가정

• 월간 능동 사용자(monthly active user)는 3억(300million) 명이다.
• 50%의 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10% 정도다.
• 데이터는 5년간 보관된다.

추정

QPS(Query Per Second) 추정치

• 일간 능동 사용자(Daily Active User, DAU) = 3억 x 50% = 1.5억(150million)
• QPS = 1.5억 x 2트윗 / 24시간 / 3600초 = 약 3500
• 최대 QPS(Peek QPS) = 2 X QPS = 약 7000 (❓)
  • -> 곱하기 2가 왜 들어가는지?

미디어 저장을 위한 저장소 요구량

• 평균 트윗 크기
  • tweet_id에 64바이트
  • 텍스트에 140바이트
  • 미디어에 1MB
• 미디어 저장소 요구량 : 1.5억 x 2 x 10% x 1MB = 30TB/일
• 5년간 미디어를 보관하기 위한 저장소 요구량 : 30TB X 365 X 5 = 약 55PB

팁

• 결과가 중요하진 않음. 결과를 도출해 나가는 과정이 중요함.
• 근사치를 활용한 계산(rounding and approximation) : 면접에서는 계산 결과의 정확성을 평가하는 것이 목적이 아니기 때문에, 예를 들어, "99987/9.1"을 계산할 필요는 없다. "100,000/10"으로 간소화할 수 있다. 
• 가정(assumption)들은 적어 두기. 나중에 살펴볼 수 있도록.
• 단위(unit)를 붙이기. 스스로도 헷갈릴 수 있음. 단위를 붙이는 습관을 두자.