KBS 기자도 쳐본 AI 시험? 기업들이 AI 역량을 직접 검증하기 시작했습니다

일 잘하는 직원은 AI도 잘 쓸까요?

“일 잘하는 직원이 인공지능도 잘 쓴다, 맞는 말일까요?” 얼마 전 KBS 9시 뉴스에서

던진 질문입니다. 정말 그런지 확인하려고 기자 두 명이 직접 ‘AI 활용 능력 시험’을 쳐봤습니다.

결과가 흥미로웠습니다. 둘 다 같은 직종에서 평소 AI로 일하는 사람들이었는데요. “잘 볼 줄 알았다”던 기자는 B를, “S가 나올 줄 알았다”던 기자는 A를 받았습니다. 스스로 매긴 점수와 실제 결과가 달랐던 겁니다.

지금 이 지점을 기업들이 주목하고 있습니다. “저는 AI를 잘 활용합니다”라는 말과, 실제로 AI로 일을 시켜봤을 때 나오는 결과는 다르기 때문입니다. 그 차이를 눈으로 확인하려는 곳이 늘면서, 전에 없던 AI 시험이나 AI 역량 진단이 등장하기 시작했습니다.

이런 진단은 채용에만 쓰이지 않습니다. 점수를 승진과 인사고과에 반영하는 곳도 있고, 교육 전후로 구성원 역량이 실제로 늘었는지 확인하는 데도 쓰이죠. 공통점은 하나입니다. “AI 잘 쓴다”는 각자의 자기 평가를 그대로 믿는 대신, 직접 재보기 시작했다는 것이죠.

그렇다면 AI 역량 진단은 실제로 무슨 역량을 어떻게 보는 걸까요?

AI 역량 시험은 아는지가 아니라 쓸 줄 아는지를 봅니다

KBS 기자가 친 AI 역량 시험의 화면을 보면, 왼쪽엔 풀어야 할 업무 과제가, 오른쪽엔 생성형 AI 대화창이 있습니다. 50여 개 문제 중 하나를 고르면 시험이 시작됩니다. 기자들은 각각 ‘신년사 쓰기’와 ‘AI 윤리’ 과제를 골랐고, 다른 프로그램 없이 오직 생성형 AI만 써서 30분 안에 과제를 끝내야 했습니다. 채점도 AI가 하고, 결과는 S부터 D까지 다섯 등급으로 나옵니다.

여기서 중요한 건 평가의 척도입니다. ‘AI를 얼마나 아느냐’가 아니라 ‘AI를 어떻게 활용하느냐’를 보기 때문입니다. AI에게 구체적인 역할을 부여하는지, 작업의 맥락과 필요성을 설명하는지, 답변의 범위와 금지 항목을 설정하는지 같은 것들이죠. 코딩을 몰라도 풀 수 있습니다. 주어진 문제를 얼마나 구조화해서 단계적으로 접근하느냐가 핵심입니다.

지식을 묻는 시험이라면 외워서 대비할 수 있습니다. 하지만 이건 평소에 일하는 방식이 그대로 드러나는 시험입니다. 그래서 같은 직종, ‘AI를 좀 쓰는’ 사람들 사이에서도 등급이 갈릴 수밖에 없습니다.

결과물이 아니라 ‘과정’을 보는 AI 역량 진단이 필요한 이유

결과물이 아니라 풀어가는 ‘과정’을 보는 진단은 아직 많지 않습니다. 텔타의 AI 리터러시 진단이 그런 경우인데요. 완성된 결과물만 채점하는 게 아니라, 참여자가 프롬프트를 어떻게 구성하고 다듬어 가며 과제를 풀어냈는지까지 평가에 반영합니다.

진단 중 외부 AI 도구 사용을 제한하는 것도 같은 이유죠. 밖에서 만들어 온 답에는 정작 핵심인 ‘활용 과정’이 담기지 않으니까요. 답이 아니라, 답에 이르는 과정을 본다는 뜻입니다.

실제로 텔타가 매일경제 기자 네 명을 같은 방식으로 진단했을 때도 동일한 패턴이 나타났습니다. AI 지식 문항을 가장 많이 맞힌 기자가 활용 점수에서는 3위에 그쳤고, 지식이 상대적으로 낮았던 기자가 종합 1위를 차지했습니다. 많이 아는 것과 잘 쓰는 것은 분명히 다른 역량이라는 사실이 결과로 드러난 셈입니다.

• 매일경제 기자들의 텔타의 AI 역량 진단 체험 결과는 아래 아티클에서 확인하실 수 있습니다.
  ‍🔗 매경 디지털테크부 기자 4인의 AI 리터러시 진단 결과, 예상은 빗나갔다

AI 역량 진단의 진짜 가치는 그 다음에 있습니다

진단의 가치는 점수 자체가 아니라 그 다음에 있습니다. HR 담당자에게 정말 중요한 질문은 “우리 구성원이 지금 어디쯤 있고, 무엇을 더 채워야 하는가”이기 때문이죠. 이건 등급 한 글자로는 답할 수 없습니다.

그래서 잘 설계된 진단은 ‘AI를 이해하는 수준’과 ‘실제로 활용하는 수준’을 나눠서 보여주고, 그 판단의 근거까지 제시합니다. 당연하지만 이런 데이터가 있어야 누구에게 어떤 교육을 붙일지, 지난 교육이 실제로 역량을 끌어올렸는지를 근거를 갖고 판단할 수 있겠죠.

우리 조직 구성원의 AI 리터러시는 지금 어떤 수준일까요?

AI를 잘 쓰는 사람과 그렇지 않은 사람의 차이는 이제 일하는 결과로 분명하게 드러납니다. 미국에서는 AI 활용 능력을 요구하는 일자리가 최근 2년 새 약 7배로 늘었습니다. 이제 질문은 ‘AI를 쓰는가’가 아닙니다. ‘누가 AI로 더 나은 결과를 만들어내는가’입니다. 기업들은 이미 이 질문을 던지기 시작했습니다.

남은 건 질문에 대한 우리 조직의 답입니다.

우리 구성원은 AI로 얼마나, 그리고 어떻게 일하고 있을까요?