Observability를 왜 해야 하나요?
YouTube에서 Observability 전략 개발하기를 참조하세요.
정말 중요한 것은 무엇인가요?
직장에서 하는 모든 일은 조직의 미션에 부합해야 합니다. 우리 모두는 조직의 미션을 수행하고 비전을 향해 일합니다. Amazon에서 우리의 미션은 다음과 같습니다:
Amazon은 지구에서 가장 고객 중심적인 회사, 가장 좋은 고용주, 가장 안전한 직장이 되기 위해 노력합니다.
IT에서 모든 프로젝트, 배포, 보안 조치 또는 최적화는 비즈니스 성과를 향해 작동해야 합니다. 당연하게 들릴 수 있지만, 비즈니스에 가치를 더하지 않는 일은 하지 말아야 합니다. ITIL의 표현을 빌리면:
모든 변경은 비즈니스 가치를 전달해야 합니다.
— ITIL Service Transition, AXELOS, 2011, 44페이지.
— 클라우드에서의 변경 관리 AWS 백서 참조
미션과 비즈니스 가치가 중요한 이유는 이것이 여러분이 하는 모든 일에 영향을 미쳐야 하기 때문입니다. Observability에는 다음과 같은 많은 이점이 있습니다:
- 가용성 향상
- 신뢰성 강화
- 애플리케이션 상태와 성능 이해
- 협업 개선
- 문제의 사전 감지
- 고객 만족도 향상
- 출시 시간 단축
- 운영 비용 절감
- 자동화
이 모든 이점에는 한 가지 공통점이 있습니다. 모두 고객에게 직접적으로 또는 조직에 간접적으로 비즈니스 가치를 전달한다는 것입니다. Observability에 대해 생각할 때, 모든 것은 애플리케이션이 비즈니스 가치를 전달하고 있는지 여부를 생각하는 것으로 귀결되어야 합니다.
이는 Observability가 비즈니스 가치 전달에 기여하는 것들을 측정해야 하며, 비즈니스 성과에 초점을 맞추고 그것이 위험에 처했을 때를 알아야 한다는 것을 의미합니다: 고객이 원하는 것과 필요한 것이 무엇인지 생각해야 합니다.
어디서부터 시작해야 하나요?
이제 무엇이 중요한지 알았으니, 무엇을 측정해야 하는지 생각해야 합니다. Amazon에서는 고객에서 시작하여 그들의 요구 사항에서부터 역으로 작업합니다:
우리는 서비스를 개선하고, 혜택과 기능을 추가하는 것을 내부적으로 주도합니다. 고객을 위해 가격을 낮추고 가치를 높이는 것을 먼저 합니다. 먼저 발명합니다.
— Jeff Bezos, 2012 주주 서한
간단한 예를 들어보겠습니다. 전자상거래 사이트를 사용해 봅시다. 먼저, 온라인으로 제품을 구매할 때 고객으로서 무엇을 원하는지 생각해 보세요. 사람마다 다를 수 있지만, 아마도 다음과 같은 것들에 관심을 가질 것입니다:
- 배송
- 가격
- 보안
- 페이지 속도
- 검색 (원하는 제품을 찾을 수 있는가?)
고객이 관심 있는 것이 무엇인지 알면, 그것들을 측정하고 비즈니스 성과에 어떤 영향을 미치는지 확인할 수 있습니다. 페이지 속도는 전환율과 검색 엔진 순위에 직접적인 영향을 미칩니다. 2017년 연구에 따르면 모바일 사용자의 절반 이상(53%)이 페이지 로딩에 3초 이상 걸리면 페이지를 이탈합니다. 페이지 속도의 중요성을 보여주는 연구는 물론 많이 있으며, 측정해야 할 분명한 지표이지만, 전환에 측정 가능한 영향을 미치기 때문에 이를 측정하고 조치를 취해야 하며, 그 데이터를 활용하여 개선할 수 있습니다.
역방향 작업
고객이 관심 있는 모든 것을 알 수는 없습니다. 이 글을 읽고 있다면, 아마도 기술적인 역할을 맡고 있을 것입니다. 조직의 이해관계자와 대화해야 합니다. 항상 쉽지는 않지만, 중요한 것을 측정하고 있는지 확인하는 데 필수적입니다.
전자상거래 예를 계속해 봅시다. 이번에는 검색에 대해 생각해 보세요: 고객이 제품을 구매하려면 검색할 수 있어야 한다는 것은 분명해 보일 수 있지만, Forrester Research 보고서에 따르면 방문자의 43%가 즉시 검색 상자로 이동하며, 검색을 수행한 사용자는 그렇지 않은 사용자에 비해 2-3배 더 높은 전환율을 보인다는 것을 알고 있었나요? 검색은 정말 중요하며, 잘 작동해야 하고 모니터링해야 합니다. 아마도 특정 검색이 결과를 반환하지 않으며 단순한 패턴 매칭에서 자연어 처리로 전환해야 한다는 것을 발견할 수 있습니다. 이것이 비즈니스 성과를 위한 모니터링의 예이며, 그 후 고객 경험을 개선하기 위해 조치를 취하는 것입니다.
Amazon에서:
우리는 고객을 깊이 이해하고 그들의 문제점에서부터 역방향으로 작업하여 그들의 삶에 의미 있는 솔루션을 빠르게 개발하기 위해 노력합니다.
— Daniel Slater - Worldwide Lead, Culture of Innovation, AWS, Amazon의 Day 1 문화의 요소
우리는 고객에서 시작하여 그들의 요구 사항에서부터 역으로 작업합니다. 이것이 비즈니스 성공의 유일한 접근 방식은 아니지만, Observability에 대한 좋은 접근 방식입니다. 이해관계자와 협력하여 고객에게 중요한 것이 무엇인지 이해한 다음 거기서부터 역으로 작업하세요.
추가적인 이점으로, 고객과 이해관계자에게 중요한 지표를 수집하면 이를 거의 실시간 대시보드에서 시각화할 수 있으며, 보고서를 작성하거나 "랜딩 페이지 로딩에 얼마나 걸리나요?" 또는 "웹사이트 운영에 얼마나 비용이 드나요?"와 같은 질문에 답할 필요가 없습니다. 이해관계자와 경영진이 이 정보를 스스로 확인할 수 있어야 합니다.
이런 종류의 고수준 지표는 애플리케이션에 정말 중요한 것이며, 거의 항상 문제가 있다는 최고의 지표이기도 합니다. 예를 들어: 주어진 시간 동안 예상보다 적은 주문이 있다는 알림은 고객에게 영향을 미치는 문제가 있을 수 있다는 것을 알려줍니다. 서버의 볼륨이 거의 가득 찼거나 특정 서비스에 대해 높은 수의 5xx 오류가 있다는 알림은 수정이 필요한 것일 수 있지만, 여전히 고객 영향을 이해하고 그에 따라 우선순위를 정해야 합니다. 이는 시간이 걸릴 수 있습니다.
고객에게 영향을 미치는 문제는 이러한 고수준 비즈니스 지표를 측정할 때 식별하기 쉽습니다. 이러한 지표는 무엇이 일어나고 있는지를 나타내는 what입니다. 다른 지표와 트레이싱, 로그와 같은 다른 형태의 Observability는 왜 이런 일이 일어나고 있는지를 알려주며, 이를 수정하거나 개선하기 위해 무엇을 할 수 있는지로 이끌어 줍니다.
무엇을 관찰해야 하나요
이제 고객에게 무엇이 중요한지 아이디어가 생겼으니, 핵심 성과 지표(KPI)를 식별할 수 있습니다. 이것은 비즈니스 성과가 위험에 처해 있는지 알려줄 고수준 지표입니다. 또한 해당 KPI에 영향을 미칠 수 있는 다양한 소스에서 정보를 수집해야 하며, KPI에 영향을 미칠 수 있는 지표에 대해 생각하기 시작해야 합니다. 앞서 논의한 것처럼, 5xx 오류의 수는 영향을 나타내지 않지만 KPI에 영향을 미칠 수 있습니다. 비즈니스 성과에 영향을 미칠 것에서부터 비즈니스 성과에 영향을 미칠 수 있는 것으로 역방향으로 작업하세요.
수집해야 할 것이 무엇인지 알면, KPI를 측정하는 데 사용할 수 있는 지표와 해당 KPI에 영향을 미칠 수 있는 관련 지표를 제공할 정보 소스를 식별해야 합니다. 이것이 관찰하는 것의 기초입니다.
이 데이터는 Metrics, Logs, Traces에서 나올 가능성이 높습니다. 이 데이터가 있으면 성과가 위험에 처했을 때 알림을 보내는 데 사용할 수 있습니다.
그런 다음 영향을 평가하고 문제를 수정하려고 시도할 수 있습니다. 거의 항상 이 데이터는 격리된 기술적 지표(예: CPU 또는 메모리)보다 먼저 문제가 있다는 것을 알려줍니다.
Observability를 반응적으로 사용하여 비즈니스 성과에 영향을 미치는 문제를 수정하거나, 데이터를 사전 예방적으로 사용하여 고객의 검색 경험을 개선하는 것과 같은 일을 할 수 있습니다.
결론
CPU, RAM, 디스크 공간 및 기타 기술적 지표는 확장, 성능, 용량 및 비용에 중요하지만, 실제로 애플리케이션이 어떻게 작동하고 있는지 알려주지 않으며 고객 경험에 대한 인사이트를 제공하지 않습니다.
고객이 중요하며, 모니터링해야 할 것은 그들의 경험입니다.
그래서 고객의 요구 사항에서 역방향으로 작업하고, 이해관계자와 협력하여 중요한 KPI와 지표를 설정해야 합니다.