제품이 잘 개발/운영되고 있는지 어떻게 판단할까? #1 - 무작정 지표 조사하기

안녕하세요. 날씨가 슬슬 풀리고 있는데 운동은 하고 있으신가요?
저는 운동을 한동안 그런지 체력이 많이 약해졌더라고요 ㅋㅋㅋ 달리기를 하거나 근력 운동을 하면 금방 지쳐버리게 됩니다 ㅜㅠ
 
운동 시간, 운동량을 보고 제 체력을 가늠했던 것이죠. 혹시 제품이 앞으로 잘 나아가고 있는지 확인할 수 있는 방법은 없을까요? 할 수 있습니다!
 
매출, 사용자 유입, 비용과 같이 다양한 지표를 활용해서 제품이 잘 개발되고, 운영되고 있는지 확인할 수 있습니다.
하지만 아무 지표나 무작정 사용하면 안됩니다. 제품과 사업 방향성에 알맞게 지표를 사용해야 합니다.

• 지표를 수립하고, 측정하기 위해 데이터를 수집하는 것도 비용이 만만치 않습니다.
• 현상을 다르게 해석하는 지표를 사용하여 잘못된 선택을 할 수도 있습니다.

이 참에 어떤 지표들이 있는지 한번 공부해보도록 하겠습니다.

---

1. Daily Active User(DAU), Weekly Active User(WAU), Monthly Active User(MAU)

DAU, WAU, MAU는 순서대로 일간 활성 사용자 수, 주간 활성 사용자 수, 월간 활성 사용자 수를 뜻합니다.
제품이 얼마나 많은 고객들에 의해서 사용되고 있는지를 직접적으로 보여주는 지표입니다.
 

2. Stickiness

Stickiness는 "사용자 고착도"라고도 합니다. 사용자가 제품을 얼마나 지속적으로 사용하는지 측정하는 지표입니다.
주로 "DAU/WAU "혹은 "DAU/MAU"로 계산합니다.
 
만약 DAU가 100인데 WAU가 700이라면 Stickness는 1/7로 사용자가 제품을 한번 사용해보고 다시 사용하는 경우가 적다고 이해할 수 있습니다.

• DAU, WAU, MAU 왜 이렇게 기준이 많은가 궁금했는데 이런 활용법이 있었네요!

 

3. Churn Rate(CR), Bounce Rate(BR)

CR은 이탈률이라고도 하며 특정 기간 동안 제품을 사용하던 고객 중에서 더 이상 제품을 사용하지 않고 떠나는 고객들의 비율을 의미합니다.
 
BR도 이탈률이라고 하는데 BR은 서비스 랜딩 페이지 혹은 사용 전에 이탈하는 고객들의 비율을 의미합니다.
 
그래서 CR은 현재 제품의 문제를 식별하는데 도움이 되는 지표라면 BR은 마케팅 같은 제품 유입 단계의 문제를 식별하는데 도움됩니다.
 

4. Net Promoter Score(NPS)

NPS는 고객 만족도와 충성도를 나타내는 지표로 "Bain & Company"에서 제안했습니다.

• 참고 링크: https://www.bain.com/consulting-services/customer-strategy-and-marketing/net-promoter-score-system/

설문조사를 통해서 고객이 제품을 다른 사람에게 추천하고 싶은 정도를 0점부터 10점까지의 점수로 매겨달라고 합니다.
아래 그림과 같이 0~6점을 매긴 고객들을 적대적 고객, 9~10점을 매긴 고객들을 충성 고객이라고 합니다.

• 7~8점을 매긴 고객들은 "수동적 고객"으로 정의하는데 제품에는 만족하지만 좋은 조건의 제품이 나오면 언제든지 떠날 수 있는 고객들을 의미합니다.

점수표

 
적대적 고객과 충성 고객이 분류되었다면 다음과 같이 NPS를 계산할 수 있습니다.

• NPS = 충성 고객 비율(%) - 적대적 고객 비율(%)

NPS가 0보다 크면 충성 고객이 적대적 고객보다 많다는 것을 의미하므로 좋은 상황이라고 해석한다고 합니다.
 

5. Conversion Rate(CVR)

CVR은 전환율이라고도 하며 일반적으로 광고를 접한 고객이 실제 구매까지 이어지는 비율을 의미합니다.

• 방문 판매를 예시로 들면, CVR = 실제로 판매에 성공한 건 수 / 방문한 지점 수 로 계산할 수 있을 것입니다.

 

6. Customer Acquisition Cost(CAC)

CAC는 고객 확보 비용이라고도 하며 고객 한명을 확보하는데 필요한 모든 비용(광고비, 영업 팀이 지출하는 비용 등)을 의미합니다.
CAC는 고객을 확보하기 위해 지불했던 전체 비용 / 확보한 고객 수 로 계산할 수 있습니다.
 

7. Customer Life Time Value(CLTV)

CLTV는 고객 생애 가치라고도 하며 고객 한 명이 평생 동안 제품에 얼마나 지불할지를 나타내는 지표입니다.
CLTV는 고객 당 평균 이익 * 평균 고객 생애 주기 로 계산할 수 있습니다.
 

혹시 데이터가 충분히 많지 않아서 고객 당 평균 이익이나 평균 고객 생애 주기를 계산하기가 어려우신가요?

CLTV 계산법을 조금 더 자세히 알고 싶으신 분들에게는 조성문님의 블로그 글을 추천드립니다!
- 링크: https://sungmooncho.com/2011/11/21/customer-lifetime-value/

조성문님은 음악 업계를 위한 데이터 분석 대시보드 차트 메트릭의 CEO신데 10년도 전에 작성된 블로그 글이지만 찾아봤던 자료 중에서는 CLTV를 가장 잘 설명해주셨어서 링크 공유드립니다 ㅎㅎ

 

8. Monthly Recurring Revenue(MRR),  Annual Recurring Revenue(ARR)

MRR은 월간 반복 매출, ARR은 연간 반복 매출이라고도 합니다.

• MRR, ARR은 구독 모델의 매출을 측정하는데 사용됩니다.
  구독 모델의 매출은 매 달 반복되기 때문에 기업의 매출을 비교적 정확하게 예측할 수 있어서 기업을 평가할 때 중요하게 사용됩니다.

 
MRR은 평균 구독 비용 * 유료 고객 수 로 계산할 수 있습니다.
ARR은 MRR * 12로 계산할 수 있습니다.
 

9. CAC Payback Period(CACPP)

CACPP는 CAC를 회수하는데 걸리는 기간을 의미합니다. 보통 월 단위나 분기 단위로 측정합니다.
CACPP는 CAC / (MRR * 마진율)로 계산할 수 있습니다.
 
예를 들어서, 고객 확보 비용이 10만원이고 월 구독료가 1만원, 마진율이 50%인 서비스가 있다고 가정합시다.
이 서비스의 CACPP는 10 / (1 * 0.5) = 20 개월이 됩니다.
 

유명 VC인 Matrix Partners의 David Skok은 스타트업의 경우 CACPP를 12개월 미만이어야 한다고 말합니다.
CACPP가 5~7개월 정도면 좋은 SaaS 비즈니스라고 합니다.
- 참고 링크: https://www.forentrepreneurs.com/saas-metrics-2/

SaaS 회사들의 CACPP가 어떻게 되는지 궁금하여 찾아보니 벤치마크가 있었습니다.

CACPP 벤치마크

- 참고 링크: https://www.meritechcapital.com/benchmarking/operating-metrics/payback-period

제일 먼저 Datadog, Cloudflare, Gitlab, Wix 등 제가 아는 회사들도 많았는데 생각보다 CACPP가 큰 것에 놀랐습니다.
자연스럽게 CACPP가 이렇게 큰데 어떻게 사업이 유지될 수 있을까? 라는 질문이 떠올랐고, 경쟁 업체들보다 CR이 낮고, CLTV가 커서 그렇지 않을까? 라는 추측까지 도달할 수 있었습니다.

그러면서 지표들을 개선하기 위해서 얼마나 많은 노력이 있었을지 리스펙하게 되더라고요 ㅋㅋ쿠ㅠ

 
 

10. Mean Time Between Failure(MTBF)

MTBF는 평균 무장애 시간이라고도 하며 시스템의 신뢰성을 보여주는 척도 중 하나입니다.
MTBF는 시스템의 총 가동 시간 / 장애가 발생한 횟수로 계산할 수 있습니다.
 
MTBF는 시스템이 장애 없이 몇 시간 동안 동작한다는 것을 보장하지 못하지만
고객에게는 제품이 얼마나 안정적인지 보여줄 수 있고, 회사 내부적으로는 제품을 어떻게 유지보수 해야 할지 기획하는데 유용하게 사용되는 값입니다.
 

11. Mean Time To Detect(MTTD), Mean Time To Respond(MTTR)

MTTD는 평균 장애 감지 시간, MTTR은 평균 장애 대응 시간이라고도 합니다.
MTTD는 장애가 발생하고 이를 인지하기까지의 시간입니다. MTTR은 장애가 발생하고 복구되기까지의 시간입니다.
 
두 지표 모두 시스템의 장애 대응 능력을 보여주는 지표로 시스템 운영 전략을 수립하는데 도움을 줍니다.
 

서비스를 운영하면서 고객 대응을 기록해보면 어떤 부분이 부족한지 알 수 있습니다.

1. MTTD가 큰 경우 => 서비스에 버그 혹은 에러가 발생한 것을 고객으로부터 공유 받는다.
 - 이상 현상을 감지하여 자동으로 메이커에게 알려주는 봇을 활용하면 MTTD를 개선하는데 큰 도움이 될 수 있습니다.
 - 처음부터 완벽하게 이상 현상을 감지할 수는 없습니다. 부정확하여 오감지가 많더라도 감지 시스템을 하나씩 하나씩 개선해나가면 MTTD가 많이 개선될 것입니다.

2. MTTR이 큰 경우 => 서비스 운영 중에 발생한 버그가 고쳐지기까지 시간이 오래 걸린다.
- 고객 이탈률이 높아질 수 있는 상황입니다. 문제를 발견한 초기에 TF 구성, 크런치 등 빠르게 조치가 필요합니다.

3. MTTD, MTTR이 모두 큰 경우 => 메이커가 갈리는 상황입니다 ㄷㄷ 어떻게든 시간을 확보해서 서비스를 개선해야 합니다.
- 서비스를 유지할 수 있는지 진지하게 고민해봐야 하지 않나 싶습니다...

 

12. Maximum Tolerable Downtime(MTD)

MTD는 최대 허용 정지 시간이라고도 합니다. 사업적인 레벨의 지표로 서비스가 중단되었을 때의 영향을 계산하여 MTD를 정합니다.
 

13. Availability 

Availability는 가용성이라고도 하며 시스템이 얼마나 정상적으로 동작하는지 보여주는 지표입니다.
Availability는 사용 가능 시간 / 서비스 운영 시간 으로 계산할 수 있습니다.
 
예를 들어서 고객에게 24시간 서비스를 제공하는데 배포가 이뤄지는 30분 동안 서비스를 사용하지 못한다면 가용성은 1410/1440 = 97.9% 로 계산됩니다.