2000년대 초반 고위공무원단 역량평가에 평가센터(Assessment Center, AC) 기법이 도입된 이래, AC는 민간기업의 선발과 리더 육성 현장에서도 꾸준히 활용되어 왔다. 이제 AI가 업무 전반에 쓰이기 시작하면서 이를 평가에 접목한 시스템도 개발되고 있다.

그렇다면 AI를 활용한 평가를 정말로 인사에 반영할 수 있겠는가? 

AC가 오랫동안 지켜 온 원칙은 '행동을 관찰하고 판단한다'는 것이다.

AC는 누군가의 역량을 인상만으로 판단하지 않고, 실제 직무와 유사한 상황에서 참가자가 어떻게 판단하고 행동하는지를 관찰한다. 여러 현안을 처리하는 서류함 과제(In Basket), 이해관계자를 설득하는 역할연기(Role Play), 집단토론(Group Discussion) 등이 대표적이다. 평가자는 이러한 과제에서 관찰한 내용을

사전에 정한 역량과 행동 지표에 따라 점수와 피드백으로 제시한다. [1]

가령 제한된 인력으로 여러 고객의 요청을 처리해야 하는 상황이라면, '최선을 다하겠다'는 답보다 무엇을 우선할지, 남은 자원을 어떻게 조정할지, 그 판단을 누구와 공유할지가 더 중요한 관찰 포인트이다. AC의

가치는 복잡한 사람을 한 번의 인상으로 단정하지 않고, 직무와 관련된 행동 근거를 모아 판단하는 데 있다.

물론 이러한 평가에는 시간과 비용이 든다. 새 평가자가 투입될 때마다 교육해야 하고, 여러 도구의 답안에서 근거를 종합해 평가자 간 의견까지 조율해야 하는 데다, 평가자 한 명이 담당할 수 있는 대상자 수에도 한계가 있다. 이 때문에 방대한 정보를 신속하게 처리하면서 일관된 기준으로 분석할 수 있는 AI의 활용 가능성이 AC 분야에서 주목받고 있다. 즉, AI를 활용하면 평가자를 바꾸지 않고도 다수의 참가자를 같은 기준으로

일관되게 평가할 수 있다는 것이다. 따라서 평가에 드는 시간을 줄이는 일과 평가의 질을 높이는 일을 함께

추진해야 하며, 사람이 하던 판단을 AI에 맡길수록 어떤 행동을 어떤 역량의 근거로 읽었는지 설명할 수

있어야 한다.

AI Assessment에도 평가의 기준이 필요하다

산업·조직심리학회(SIOP)에서 2023년 발표한 「Considerations and Recommendations for the Validation and Use of AI-Based Assessments for Employee Selection」논문에서는 AI 기반 선발·

승진 평가도 전통적인 평가 도구와 같은 수준의 검토를 받아야 한다고 아래와 같이 권고했다. [2].

점수가 실제 직무와 관련된 특성을 반영하는가.
동일 대상자, 동일 과제로 재 평가할 때 결과가 일관적인가.
역량과 무관한 요인이 점수에 영향을 주지는 않는가.
어떤 자료와 기준으로 점수를 냈는지 검토할 수 있는가.
선발에 사용한다면 그 점수가 직무 성과 등 활용 목적과 연결된다는 근거가 있는가. [2]

예를 들어 AI가 한 답안을 '전략적 사고가 우수하다'고 설명했다고 하자. 보고서의 문장이 자연스럽다는

것만으로는 부족하다. 답안의 어느 부분이 전략적 사고에 해당하는지, 다른 평가자도 그 행동을 같은 역량의 근거로 보고 있는지 확인해야 한다. 여러 번 평가할 때 점수가 크게 달라지거나 과제와 무관한 표현에 점수가 좌우된다면, 보고서가 아무리 빨리 완성돼도 평가 결과로 쓰기 어렵다. 이와 함께 AI의 평가 점수와 근거가

전문 평가자의 결과와 유사한지도 확인할 필요가 있다.

AI로 평가한다는 것은 끊임없는 검증의 시작이다.

그렇다면 평가기관과 HR 담당자는 무엇부터 준비해야 할까. 무엇보다 모델에 앞서 평가 기준을 마련하고,

직무에서 중요한 역량과 과제의 어떤 행동을 그 역량의 근거로 볼지 합의해야 한다. 이어 여러 전문가가

동일한 답안을 평가하도록 해 의견이 갈리는 지점을 찾은 뒤 AI Assessor의 점수와 근거를 비교하면,

모델이 놓친 행동뿐 아니라 사람 평가자 사이에서 모호했던 기준도 발견할 수 있다.

우리 조직도 AI를 활용한 평가 시스템을 준비하고 있다. 개발 과정에서는 산업·조직심리 전공 교수진을

포함한 전문가의 평가와 AI 평가를 동일한 IB 답안에서 비교하면서 점수의 신뢰도와 평가 기준을 점검했다. 그 결과, *급내상관계수(Intraclass Correlation Coefficient) 값이 .69로 전문 평가자와 높은 일치도를

나타냈다.

추후 파일럿 테스트에서는 점수 차이가 생기는 답안의 특징과 평정 근거가 실제 행동에 부합하는지를 살피고, 활용 목적에 따라 추가로 검증할 항목도 확인할 예정이다. 이렇게 얻은 결과를 LLM 모델 학습에 반영해

더 높은 일치도를 확보하고자 한다. [3]

*급내상관계수(Intraclass Correlation Coefficient, ICC) : 측정값의 일치도 또는 신뢰도를 평가하는 지표

더 많은 평가보다, 더 나은 판단을 위해

AI Assessment가 잘 개발된다면 기업에서는 비용과 시간 때문에 도입을 망설였던 AC를 일관된 기준으로 더 많은 대상자를 대상으로 안정적이게 시행할 수 있으며, 평가자는 점수 차이가 큰 사례나 해석이 어려운

행동을 깊이 검토하는 데 시간을 쓸 수 있다. 이러한 가능성을 실제 인사에 활용하려면 같은 답안을 언제,

어떤 조건에서 평가하더라도 기준이 유지되는지 점검하고, 결과를 사용하는 목적에 맞는 검증을 이어 가야

한다.

사람의 가능성을 평가한다는 것은 점수를 매기는 데서 끝나지 않는다. 그 점수가 누군가의 기회를 넓히기도, 좁히기도 하기 때문이다. 모든 조직과 개인이 본연의 달란트에 합당한 삶을 살도록 돕기 위해 AI라는 새로운 도구 앞에서 HR 컨설턴트가 다시 고민해야 할 지점은, 더 빠른 평가만이 아니라 그 판단을 얼마나 책임 있게 설명하고 활용할 수 있는가에 있다.

참고 자료

1. 인사혁신처, 고위공무원단 후보자 역량평가. 2006년 도입 연혁 및 평가센터 기법 설명.

2. Society for Industrial and Organizational Psychology (2023), Considerations and Recommendations for the Validation and Use of AI-Based Assessments for Employee Selection.

3. 리더스인싸이트, 「AI Assessor Proposal」(2026. 7. 11.), 내부 사업계획서, 4–5쪽. 전문가 3인(산업·조직심리 전공 교수 2인 포함)의 동일 답안 평가와 AI 평가 비교함