통계는 거짓말하지 않는다

Statistics don't lie but liars use statistics – Mark Twain, 1907

이 말은 오래전부터 데이터 해석의 위험성을 경고해왔습니다. 숫자는 객관적이고 사실을 보여주는 것처럼 보이지만, 그 숫자를 만든 사람의 의도에 따라 완전히 다른 이야기가 될 수 있습니다.

HR 일을 하면서 가장 많이 듣는 말 중 하나는 “Data-driven decision making”입니다. 저도 처음에는 숫자를 믿었습니다. 하지만 시간이 지나면서 깨달았죠. 숫자는 거짓말하지 않지만, 숫자를 만든 사람은 얼마든지 거짓말할 수 있다는 것을요.

내가 겪은 사례

얼마 전, 엔지니어 대상으로 Skills Assessment를 진행했습니다. 결과는 놀라웠습니다.
A 직군 엔지니어들이 다른 직군보다 평균 점수가 높게 나왔습니다.
겉으로 보기에는 A 직군이 가장 뛰어난 기술력을 가진 것처럼 보였죠.

하지만 자세히 들여다보니, 평가 항목에는 A 직군에게 요구되는 핵심 전문 기술이 빠져 있었습니다. 대신 일반적인 기본 기술만 포함되어 있었죠.
결국 평균 점수는 높았지만, 실제로는 다른 직군처럼 고급 기술을 평가받지 않았던 겁니다.
만약 이 사실을 놓쳤다면, A 직군이 최고 수준이라고 잘못 판단했을 수도 있었습니다.

숫자가 보여주는 것 vs 숨기는 것

• 높은 평균 점수 → 기술력이 뛰어나다? 사실은 쉬운 기술만 평가됨.

• 낮은 평균 점수 → 능력이 부족하다? 사실은 어려운 기술과 다양한 기술들을 평가받음.

왜 이런 일이 생길까?

숫자만 보면 단순한 결론을 내리기 쉽습니다.
“평균 점수가 높으면 기술력이 뛰어나다.”
“평균 점수가 낮으면 능력이 부족하다.”

하지만 실제로는 그 사이에 맥락을 설명하는 변수가 있습니다.
통계학에서는 이를 Mediator(매개 변수)라고 부릅니다.
HR에서도 이런 매개 효과는 자주 나타납니다.

이번 사례에서 평균 점수와 기술 수준의 관계는 단순해 보이지만, 실제로는 평가 항목의 난이도와 범위가 그 관계를 매개(Mediator)합니다. 이 변수를 고려하지 않으면 잘못된 결론을 내릴 위험이 있습니다.

Lesson Learnt

HR의 역할은 단순히 데이터를 보고 보고서를 만드는 것이 아닙니다.
우리는 숫자 뒤에 숨은 사람의 이야기를 찾아야 합니다.

많은 보고서와 연구는 자신의 의견을 뒷받침하기 위해 통계를 사용합니다.

숫자는 객관적으로 보이지만, 그 선택과 해석에는 의도가 개입됩니다.

그 숫자에 농락당하지 마세요.

숫자를 맹신하는 순간 잘못된 의사결정을 할 위험이 있습니다.

숫자가 말하는 것뿐 아니라, 숫자가 말하지 않는 것을 보세요.

데이터 뒤에 숨은 맥락과 사람을 읽으세요.