관측 · 알림

대시보드 알림 임계치를 정할 때의 허위 양성 줄이기

2024-09-30 · 문지후

임계치를 한 줄로만 두면 야근이 늘어납니다. 히스테리시스를 넣어 상·하한을 분리하고, 최소 지속 시간을 두어 스파이크를 무시하세요. 그다음 On-call 라우팅을 제품 팀과 인프라 팀으로 나눕니다.

대시보드 패널에는 “왜 이 지표인가”를 한 문장 적어두는 것을 권장합니다. 지표가 늘어날수록 새로 온 팀원이 해석을 놓칩니다.

마지막으로, 알림이 울린 뒤 조치 시간을 기록하세요. 개선 여부를 논의할 때 데이터가 말해줍니다.