EU AI Act와 AI Literacy, 그리고 유럽 CHRO들이 준비하는 것(2/2)
AI Literacy는 AI 활용 능력이 아니다
많은 사람들이 AI Literacy를 AI를 활용해서 무엇인가를 만들어내는 능력으로 오해한다. EU AI Act가 말하는 AI Literacy는 AI의 기회와 위험을 이해하고, 결과를 검증하고, 문제를 발견했을 때 적절히 대응할 수 있는 역량이다. 쉽게 말하면 "언제 AI를 믿지 말아야 하는가"를 아는 능력이다.
AI가 사용되는 맥락과 의사결정의 위험도에 따라 필요한 역량이 달라진다. 예를들어, 채용담당자는 AI 추천 결과의 한계, 편향과 차별 가능성, 인간의 최종 검토 의무과 책임을 명확히 알고 있어야 한다. 반면 HR Analytics 담당자는 데이터 대표성과 품질, 대리차별(Proxy discrimination), 모델 한계와 통계적 오류 가능성을 알고 있어야 한다.
대리차별이란 AI가 성별, 나이, 국적과 같은 민감한 정보를 직접 사용하지 않더라도, 다른 데이터를 통해 결과적으로 특정 성별이나 연령 집단에게 불리한 결과를 내놓는 현상을 말한다. 겉으로 보기에는 중립적인 데이터처럼 보이지만 실제로는 차별적 영향을 만들어낼 수 있기 때문에 유럽에서는 특히 중요하게 다뤄지는 주제다.
EU AI Act에서 말하는 AI Literacy는 조직에서 책임있게 AI 를 활용할 수 있는 역량이자 문화정도로 정의할수 있을 것 같다.
AI Literacy는 지속적인 통제 체계에 가깝다.
며칠전 참석한 Gartner 사의 교육에서는 AI Literacy를 가리켜 Living Control이라고 표현했다.
AI Literacy는 법정필수교육 처럼 교육 수강하고, 컴플라이언스 체크박스를 채웠다고 끝나는것이 아니라 실제 업무 환경에서 다음의 포인트가 지켜져야 한다.
사용자가 AI 결과를 비판적으로 검토할 수 있는가?
문제가 의심될 경우 사용을 중단할 수 있는가
적절한 보고 (Escalation) 절차를 알고 있는가
사고 발생 시 학습하고 개선할 수 있는가
많은 인사 담당자들이 AI활용 교육 먼저 생각하는데, AI Literacy 관점에서는 직원 AI 활용 교육 이수율 95%보다 "위험한 AI 의사결정을 적절하게 중단시킬 수 있는가"가 훨씬 중요한 지표가 된다.
가장 큰 위험은 AI팀 밖에 있다
가트너 웨비나에서 다음과 같은 문장을 접했다. "The biggest blind spot is outside the AI team."
실제 위험은 AI 전문가들이 있는 곳에서 발생하지 않는다는 의미인데, 예를 들면, 채용담당자, HRBP, 현업 관리자들, 외부 대행사, 영업 사원 등 AI를 활용하고 의사결정이 이루어지는 현장에서 리스크가 발생한다.
혹은 Shadow AI 라고 하는데, 직원이 회사 승인을 받지 않은 AI를 사용하거나, 회사가 인지하지 못한 AI 기능이 업무 프로세스 안으로 들어오는 경우, 문제가 발생한다. 내부 기술팀이 AI 모델을 잘 관리하는 것만으로는 리스크 관리가 충분하지 않을 수 있다.
최근에는 비개발자도 AI를 활용해 다양한 HR 솔루션을 만들 수 있는 시대가 되었다. 직무분류 체계를 기반으로 평가와 채용 프로세스를 연결하는 도구를 만들거나, 적정 인원을 산정하고, 임금 인상률이나 이탈 위험을 분석하는 예측 모델을 구축하거나, 기존에는 개발자만 만들 수 있었던 애플리케이션을 HR 담당자가 직접 구현하는 사례도 점점 늘어나고 있다. 획기적인 생산성이 실현되는 너무 좋은 세상이다.
그렇지만!!!! EU AI Act 관점에서는 여기서 한번 더 생각해봐야한다.
만약에 AI가 직원 이탈 가능성을 예측한다면 그 결과를 누가 볼 수 있는가? AI가 임금 인상률을 추천한다면 최종 결정은 누가 내리는가? 특정 대학, 특정 경력, 특정 근속연수 패턴을 기반으로 한 추천이 의도치 않은 차별로 이어질 가능성은 없는가? 잘못된 예측이 발생했을 때 직원은 이에 이의를 제기할 수 있는가?
그래서AI 활용 사례가 늘어날 수록, 기술이 발전할 수록, AI가 의사결정에 더 깊이 관여할 수록 AI Governance 의 중요성은커질진다.
올해들어 많은 구성원들이 바이브 코딩으로 자동화 툴을 만들었다며 자랑스레 공유했다. 뚝딱 만들었다기엔 자동화 툴 자체의 완성도가 꽤 높고 이이디어도 너무 좋은데, 인사 리더 입장에서는 생상성 논의 이전에 리스크를 생각해본다. 가상 데이터로 만든 모델은 편향이 숨어있을수 있고, 실제 업무환경에서 개인정보에 대한 관리 논란도 예상되고 , ai 가 코드를 대신 짜줘서 세부 로직을 자세히는 모른다고 하면 human oversight가 충족이안되는데, 뿌듯한 얼굴로 나를 바라보는 gen Z 구성원을 마주하면, 어떻게 해야 사기를 꺾지 않으면서 잘 전달할수 있을까 하는 생각에 입이 잘 안떨어진다.
리더의 역할은 이들의 자발적인 탐구욕이 안전하게 실험할 수 있는 울타리안에서 피어날 수 있게 지원하는 것이다. 승인되지 않은 Shadow AI가 거버넌스 밖에서 위험하게 돌아가지 않도록, 어떤 범위까지 가상 환경에서 테스트할 수 있는지, 실제 업무 데이터로 넘어가기 전 어떤 검증(Human-in-the-loop)을 거쳐야 하는지 기준을 잡아주는 일이 점점 중요해진다.
나중에 문제가 생겼을때 결국 중요한 것은 증명할 수 있는지 이다
"회사가 합리적인 조치를 했다는 것을 증명할 수 있는가?"
감독기관에서 감사를 나오거나 법적 분쟁이 발생했을 때 다음의 항목을 확인한다.
AI를 어디에서 사용했는가
위험을 평가했는가
교육과 지침을 제공했는가
기록이 남아 있는가
사고 후 개선했는가
통제 체계가 완벽하지 않아도, 회사에서 사용자들이 위험을 이해하고 있었는지, 적절한 통제 프로세스, 장치를 만들었는지, 문제가 발생했을때 대응했는지, 대응에 대한 근거가 있는지.
유럽이 AI 거버넌스를 중요하게 생각하는 이유
유럽의 HR 리더들은 GDPR, 개인정보 보호, 차별금지, 노조와의 공동결정권 체계 속에서 오랫동안 사람과 데이터 관련 리스크를 관리해 왔다. 그래서 새로운 기술이 등장하면 무엇을 할 수 있는지보다 무엇을 책임져야 하는지를 함께 논의하는 문화가 자리잡고 있다.
그러면, 실제 유럽 HR 은 무엇을 할까?
기업마다 수준은 다르지만, 내가 최근 접한 여러 글로벌 기업 사례를 보면 AI 활용과 함께 다음과 같은 활동들이 시작되고 있다.
조직 내 AI Tool Inventory 구축
HR 영역의 AI 사용 사례 식별
AI Governance Committee 운영
AI Policy 및 사용 가이드 수립
역할 기반 AI Literacy 프로그램 운영
고위험 AI 사용 사례 평가
Human Oversight 체계 구축
AI 관련 사고 및 이슈 대응 프로세스 정비
유럽 기업들이 자주 사용하는 표현 중 하나가 바로 "Going slow to go fast" 다. 초기에는 규제 준수와 통제 체계를 만드는 일이 AI 도입 속도를 늦추는 것처럼 보일 수 있다. 어떤 AI를 사용할 수 있는지, 누가 책임지는지, 어떤 상황에서 사람의 판단이 개입해야 하는지에 대한 기준이 명확할수록 조직은 AI를 빠르게 확산할 수 있다. 이러한 기준 없이 AI를 빠르게 확산시키면 어느 순간 법무, 개인정보 보호, 노동조합, 경영진의 우려가 한꺼번에 제기되면서 오히려 멈추게 된다.
이런 일련의 활동을 보면 AI Governance 는 일종의 조직변화 프로젝트에 가깝다. 그래서 나는 앞으로 HR이 전통적으로 IT가 담당하던 일부 영역까지 점점 더 깊이 관여하게 될 것이라고 생각한다.