보면

• 25 Dec, 2025
• • 팀관리

'품질 메트릭스 보면' - 데이터로 말하는 QA

품질 메트릭스 보면 오전 10시. 경영진 보고 미팅이다. 준비했다. 엑셀 3개, PPT 15장, 그래프 7개. 어젯밤 11시까지 걸렸다. "이번 분기 결함 유입률이 전 분기 대비 18% 증가했습니다." 슬라이드를 넘긴다. CFO가 눈썹을 찌푸린다. "그래서 품질이 나빠졌다는 거야?" "아닙니다. 검출률이 올라간 겁니다. 배포 후 결함은 23% 감소했습니다." 다음 슬라이드. 초록색 그래프가 뜬다. "개발 단계에서 더 많이 잡았다는 얘기죠."개발 본부장이 끄덕인다. CFO는 여전히 찌푸린다. "그럼 QA 기간이 길어진 건가?" "평균 2.3일 증가했습니다. 하지만 장애 대응 시간이 평균 8시간 줄었습니다." 계산기를 두드린다. 시연하듯이. "장애 한 건당 투입 인력 평균 15명, 시급 5만원 기준으로 장애 20건 감소하면... 월 1200만원 절감입니다." CFO의 표정이 풀린다. 숫자로 말해야 한다. 관리자가 되고 배운 것. "품질이 좋아요"는 안 먹힌다. "NPS가 3.2점 상승했습니다"는 먹힌다. "버그가 많았어요"는 약하다. "치명도 High 결함이 전월 대비 34% 증가했습니다"가 강하다. 엑셀과의 동거 매주 월요일 오전. 데이터 정리하는 시간이다. Jira에서 추출한다. TestRail에서 가져온다. 슬랙 대화 로그도 뒤진다.총 테스트 케이스: 2,847개 실행률: 94.3% 통과율: 87.6% 결함 검출률: 12.4% 재테스트 비율: 8.9% 회귀 결함: 3건엑셀 시트가 8개다. 피벗 테이블이 12개다. 팀원들은 묻는다. "팀장님, 이거 왜 매주 해요?" "경영진이 요청하면 바로 줘야 해서." 진짜 이유는 다르다. 데이터 없으면 진다. 조직 정치에서. "QA 기간 줄입시다." 개발 본부장이 말한다. "품질 메트릭스 보면..." 내가 대응한다. "지난 3개월간 테스트 기간 단축한 스프린트는 평균 배포 후 결함이 2.8배 높았습니다. 이번 분기 장애 중 67%가 테스트 기간 부족 때문이었고요." 그래프를 보여준다. 빨간색으로 강조된. "한 번의 Critical 장애가 평균 3,200만원의 비용을 발생시킵니다. 고객 이탈률까지 포함하면..." 말을 흐린다. 계산은 이미 해뒀다. 개발 본부장이 물러선다.데이터는 방패다. 내 팀을 지키는. 메트릭스의 정치학 목요일 오후. 제품 기획팀과 미팅이다. "이번 기능, 다음 주 배포 가능할까요?" 기획 리드가 묻는다. 웃으면서. "품질 메트릭스 보면..." 내가 답한다. "현재 미해결 결함 37건. High 우선순위가 12건입니다. 커버리지는 78%고요." 기획 리드의 웃음이 굳는다. "78%면 괜찮은 거 아닌가요?" "내부 기준은 85%입니다. 결제 관련 기능이라 더 높아야 하고요." 노트북을 돌린다. 화면을 보여주면서. "지난 분기 커버리지 80% 미만 상태로 배포한 기능 중 73%에서 운영 이슈가 발생했습니다." 그래프가 말한다. 내 대신. 기획 리드가 한숨을 쉰다. "그럼 언제 가능해요?" "High 결함 해결되면 월요일. 커버리지 85% 채우면 수요일." "수요일은 너무 늦어요." "그럼 리스크 수용하시는 겁니까?" 메모를 꺼낸다. 만년필로 쓴다. "리스크 수용 결정하시면 문서로 남겨야 합니다. 배포 후 이슈 발생 시 책임 소재 명확히 해야 해서요." 기획 리드가 말을 멈춘다. "...수요일에 배포하죠." 데이터는 무기다. 협상의. 회의가 끝나고. 복도에서 개발 리드를 만났다. "리스크 수용 문서 이야기는 좀 과했던 거 아니에요?" 웃었다. 쓸쓸하게. "13년 하면서 배웠어. 데이터 없이는 안 들어. 문서 없이는 책임만 떠안아." "품질 지키려면 정치를 해야 하나요?" "정치가 아니야. 생존이지."숫자로 말하는 법 밤 11시. 아직도 사무실이다. 다음 주 경영 회의 자료를 만든다. 제목: "Q3 품질 개선 성과 및 Q4 전략" 1페이지: 요약배포 후 결함 23% ↓ 고객 불만 15% ↓ 테스트 자동화율 41% ↑ 평균 장애 대응 시간 8시간 ↓숫자만 있다. 설명은 없다. 2페이지: 비용 절감 효과장애 대응 인건비: 월 1,200만원 절감 고객 이탈 방지: 분기 8,500만원 가치 반복 테스트 자동화: 인력 1.2명 효율화회계 용어로 번역했다. CFO가 좋아하는 언어로. 3페이지: 벤치마크업계 평균 테스트 커버리지: 76% 우리 회사: 89% 업계 Top 10%: 92%비교 데이터. 경쟁심을 자극하는. 4페이지: 리스크 매트릭스High Risk & High Impact: 2개 항목 Medium Risk: 7개 항목 대응 방안: 각 항목별 구체적 계획리스크는 숨기지 않는다. 관리한다는 걸 보여준다. 저장했다. 백업도 세 군데에. 팀원 메시지가 온다. "팀장님 아직도 회사세요? 자료 만드시는 거예요?" "응. Q4 전략 발표 준비." "매번 저렇게 준비하세요?" "안 하면 밀려. 데이터 없으면 '느낌'으로 판단당해." "힘드시겠어요." 웃었다. 쓴웃음. "이게 관리자야. 현업은 코드로 말하지. 관리자는 엑셀로 싸워." 데이터의 그림자 금요일 오전. 팀 회의다. "다들 수고했어. 이번 주 배포 무사히 끝났어." 박수를 친다. 팀원들이 따라 친다. "품질 메트릭스 보면..." 슬라이드를 켠다. 팀원들이 웃는다. 내 입버릇이 됐다. "이번 주 테스트 실행률 96.2%. 지난주보다 2.1%p 상승. 결함 검출률 14.3%. 평균보다 1.9%p 높아." 칭찬한다. 구체적으로. "특히 민준씨 담당 결제 모듈. 엣지 케이스 3건 추가로 잡아줬어. Critical 결함 2건 사전 방지했고." 민준이 쑥스럽게 웃는다. "수진씨 자동화 스크립트 덕분에 회귀 테스트 시간 4.2시간 단축됐어. 이거 이번 분기 성과로 강조할게." 수진이 고개를 끄덕인다. 숫자로 칭찬한다. 애매한 칭찬보다 강하다. "근데 팀장님." 다희가 손을 든다. "왜?" "저희가 일 잘하는 건... 숫자로만 보여야 하나요?" 멈칫했다. "무슨 뜻이야?" "제가 이번에 UX 개선 의견 3개 냈잖아요. 그거는 품질 메트릭스에 안 잡히는데..." 말이 막혔다. 다희 말이 맞다. 품질은 숫자만이 아니다. 사용자 경험, 직관적 UI, 부드러운 인터랙션. 하지만 경영진은 그걸 모른다. "너 의견 좋았어. 기획팀도 채택했잖아." "네. 근데 그게 제 성과 평가에..." "반영할게. 정성 평가에." 약한 대답이다. 나도 안다. 정량 평가가 강하다. 숫자가 들어간 성과가. "다희야. 솔직히 말할게." 팀원들이 집중한다. "회사는 숫자로 판단해. 불공평하지. 근데 현실이야." "그럼 숫자로 안 나오는 일은 안 하는 게 나은 건가요?" 대답하지 못했다. 데이터의 그림자다. 측정되지 않는 가치는 인정받지 못한다. 메트릭스 너머 주말이다. 집에서 쉰다. 딸아이가 묻는다. "엄마는 회사에서 뭐 해?" "품질 확인하는 일." "품질이 뭔데?" 설명하려다 멈췄다. "물건이 잘 작동하는지 보는 거야." "그럼 고장 나면 엄마가 고쳐?" "아니. 고치는 건 아빠 같은 개발자가 해. 엄마는 고장 날 것 같은 거 미리 찾아내." "그럼 엄마가 없으면 어떻게 돼?" 생각했다. "물건이 자주 고장 나. 사람들이 짜증 내지." "그럼 엄마 중요하네!" 웃었다. 아이는 단순하다. 남편이 옆에서 커피를 내민다. "어제도 늦게 왔더라. 자료 만들었어?" "응. Q4 전략 발표." "또 품질 메트릭스?" "웃기지. 13년 했는데 아직도 증명해야 해." "개발도 비슷해. 코드 리뷰 통과해도 성능 지표 안 나오면 인정 안 받아." "너는 그래도 결과물이 보이잖아. 기능이 생기잖아." "너도 결과물 있어. 장애가 안 나는 거." 한숨을 쉬었다. "장애 안 나는 게 성과야. 웃긴 거지. 안 나야 정상인데." "그럼 메트릭스는 왜 만들어?" "안 만들면 'QA가 뭐 하는지 모르겠다'고 해." "만들면?" "'숫자에 집착한다'고 하지." 남편이 웃는다. 씁쓸하게. "딜레마네." "관리자의 숙명이야." 데이터가 말하지 못하는 것 월요일 아침이다. 출근했다. 메일이 와 있다. CEO 이름으로. "지난 분기 품질 성과 우수팀 선정: QA팀" 상품권 50만원어치다. 팀원들과 나눠 가지라고. 기쁘다. 솔직히. 인정받은 기분이다. 숫자가 증명해줬다. 하지만 찝찝하다. 우리 팀이 한 일이 숫자만은 아닌데. 개발팀과 새벽까지 이슈 분석했던 것. 기획팀 요구사항 명확히 하려고 5번 미팅 잡았던 것. 신입 개발자 온보딩 도와줬던 것. 품질 메트릭스에 안 나온다. 팀 회의에서 공유한다. "이번 분기 우수팀 받았어. 다들 수고했어." 환호성이다. 박수가 터진다. "상품권은 똑같이 나눠. 회식도 하자." "팀장님 덕분이에요!" 아니다. 팀원들 덕분이다. 하지만 경영진이 본 건 내가 만든 자료다. "이번 성과가 데이터로 입증됐어. 근데..." 말을 이었다. "우리가 한 일이 숫자만은 아니야. 협업하고, 소통하고, 문제 해결한 거." "근데 그게 평가되려면 결국 숫자로..." 수진이 말한다. "맞아. 현실은 그래. 그래서 내가 메트릭스 만들어." "타협하시는 거예요?" "타협 아니야. 번역이지." 팀원들이 고개를 갸우뚱한다. "우리가 한 일을 회사가 이해하는 언어로 바꾸는 거야. 숫자로." "그럼 숫자가 안 나오는 일은?" "그것도 중요해. 계속 해. 근데 성과 어필할 땐 숫자 필요해." "이중 잣대 같은데요." 웃었다. 쓴웃음. "관리자가 되면 알아. 이상과 현실 사이에서 줄타기하는 거야." 메트릭스라는 도구 점심시간이다. 혼자 먹는다. 핸드폰을 본다. QA 커뮤니티에 글이 올라왔다. "QA는 왜 항상 증명해야 하나요?" 댓글이 달린다. "개발은 기능으로 보여주잖아요. QA는 뭘로 보여줘요?" "품질 메트릭스 만들어 보세요." "숫자로 말하면 인정받아요." 내가 댓글을 단다. "메트릭스는 도구일 뿐입니다. 품질 그 자체는 아니에요." 누군가 답글을 단다. "그럼 왜 만드세요?" 타이핑한다. 지우고. 다시 쓴다. "안 만들면 우리 일이 안 보여요. 보이지 않으면 인정받지 못해요. 인정받지 못하면 투자받지 못하고요." "그럼 결국 정치 아닌가요?" 멈칫했다. 정치라는 단어가 불편하다. 하지만 틀린 말은 아니다. "정치라기보다... 커뮤니케이션이에요. 경영진이 이해하는 방식으로 말하는 거죠." "피곤하시겠어요." "피곤하죠. 근데 내 팀 지키려면 해야 해요." 답글을 올렸다. 핸드폰을 내려놓았다. 13년 했다. 여전히 증명한다. 언제쯤 QA의 가치가 당연하게 인정받을까. 언제쯤 메트릭스 없이도 신뢰받을까. 모르겠다. 지금은 엑셀을 켜야 할 시간이다.품질 메트릭스는 내 방패이자 무기다. 하지만 가끔 묻는다. 숫자 너머의 가치는 언제쯤 보일까.