팀장 바꾸니 조직문화 좋아졌다?…현대제철이 짚은 ‘점수의 함정’

 <사진 1> 6일 서울 강남구 코엑스에서 'PA ｜ AI Connect 2026: 데이터로 여는 HR의 다음 단계'가 열리고 있다. /사진=이사민 기자

“리더가 바뀐 이후로 (조직문화 진단 점수가) 8점이 올랐다고 말하는 건 합당합니다. 하지만 리더가 바뀌었기 때문에 8점 올랐다고는 주장할 수가 없는 거예요.”

6일 서울 강남구 코엑스에서 열린 ‘PA | AI Connect 2026: 데이터로 여는 HR의 다음 단계’에서 한충석 현대제철 컬처디자인팀 책임매니저는 이같이 말했다.

조직문화 진단 점수가 올랐다는 사실만으로 특정 인사 결정의 효과를 설명할 수는 없다는 의미다. 리더 교체뿐 아니라 조직 개편, 구성원 변화, 외부 시장 환경 등 여러 요인이 영향을 미칠 수 있기 때문이다.

이날 한 책임매니저는 수년간 쌓인 조직문화 진단 데이터를 AI와 함께 분석하며 점수 변화의 원인을 살펴본 과정을 소개했다. 가장 먼저 해야 할 건 서로 다른 연도의 데이터를 비교할 수 있도록 정리하는 일이었다.

한 책임매니저는 “매년 조직문화 진단이라고 하는 이름은 똑같은데 어느 하나 안 바뀌는 게 없다”며 “조직도 다 다르고 사람도 다르다”고 말했다. 설문 문항은 물론 진단 구조까지 달라져 연도별 점수를 그대로 비교하기 어려웠다는 설명이다.

게다가 조직 이름이 같다고 전년과 동일한 조직으로 볼 수도 없었다. 부서가 분리되거나 통합되고 상위 조직이 바뀌는 이력까지 연결해야 했다. 이에 한 책임매니저는 조직코드를 기준으로 연도별 변경 내역을 정리하고, 설문 응답과 리더 정보를 결합했다.

조직 진단을 하는 기준 시점도 중요했다. 현대제철은 매해 7월 1일자 조직과 인원을 기준으로 하되, 두 달 뒤인 9월에 본격적으로 진단을 진행한다. 그 사이 팀장이 바뀌었다면 진단 결과를 누구에게 연결할지 구분해야 하는 문제가 생긴다.

한 책임매니저는 “해당 조직의 점수가 떨어졌는데 새로 발령된 사람한테 귀속을 시켜버리면 데이터 해석상 큰 오해가 생길 수 있다”며 "시간순으로 정리를 잘 하는 게 중요하다"고 강조했다.

<사진 2> 6일 서울 강남구 코엑스에서 'PA ｜ AI Connect 2026: 데이터로 여는 HR의 다음 단계'가 열리고 있다. /사진=이사민 기자

데이터를 정리한 뒤에는 점수가 왜 변했는지 설명하는 작업이 남는다. 한 책임매니저가 제시한 방법은 ‘성향점수 매칭’이다. 리더 교체 전 조직문화 점수와 인원 규모, 직급 구성 등이 비슷한 조직을 골라 리더가 바뀐 조직과 유지된 조직의 점수 변화를 비교하는 방식이다.

그는 “이 세상에 없는 평행 우주를 그려놓고 바뀌지 않은 조직의 점수를 추정하는 것"이라며 "이를 '반사실적'(Counterfactual)이라고 한다"고 말했다.

다만 비교 조직을 찾았다고 분석이 끝나는 건 아니다. 어떤 조직을 비교 대상으로 묶는지, 조건을 어떻게 설정하는지에 따라 결과의 통계적 유의성이 달라질 수 있기 때문이다. 그는 “이러한 방법을 사용할 땐 반드시 추후 검증을 더 까다롭고 타이트하게 해야 한다"고 덧붙였다.

이 과정에서 쓰인 AI의 역할도 단순 계산 또는 보고서 작성에 머무르지 않았다. 한 책임매니저는 데이터 결합과 복잡한 연산은 물론, 자신이 놓친 분석 방법이나 비판적인 관점을 찾는 데 AI를 활용했다고 설명했다. AI가 제시한 결론을 다시 검토하며 다른 설명이 가능한지 묻는 과정도 거쳤다.

그는 “AI가 주는 결론들에 대해서 쉽게 믿으면 안 된다는 점 꼭 강조드리고 싶다”며 “다른 설명이 있는지, 대안적 방법이 있는지에 대해 한 번 더 비틀어 보는 관점을 여러 번 논의하는 게 내가 성장하는 길이 된다”고 말했다.

이러한 분석 경험은 다음 진단을 설계하는 기준으로도 이어진다. 올해 확인한 데이터의 한계를 바탕으로 내년에는 무엇을 측정하고 어떤 활동의 효과를 검증할지 미리 준비해야 한다는 것이다.

한 책임매니저는 “앞을 내다보고 데이터를 설계하고 분석하는 부분들도 굉장히 중요하다”며 “무엇보다 아이디어들이 휘발되기 전에 바로 바로 시도해보는 게 좋겠다”고 덧붙였다.