좋은 AI보다, AI가 일하는 '환경'이 중요합니다

한때는 프롬프트 엔지니어링이 대세였습니다.

AI에게 어떤 말을 입력해야 더 좋은 답을 얻을 수 있는지에 대해 많은 사람들이 교육을 받았습니다. 프롬프트 작성법을 배우고, 유용하다는 최신 AI 도구가 등장하면 누구보다 먼저 사용해 보려고 했습니다. 새로운 모델이 공개될 때마다 이전 모델보다 얼마나 더 똑똑해졌는지 비교했습니다.

AI를 잘 활용한다는 것은 곧 좋은 모델을 선택하고, 정교한 프롬프트를 작성하는 능력이라고 생각했습니다.

그런데 최근 AI 강연에서는 AI만큼이나 자주 등장하는 단어가 있습니다.

바로 하네스(Harness)입니다.

하네스는 원래 장비를 연결하거나 통제하기 위한 안전장치와 구조를 뜻합니다. AI의 맥락에서는 모델이 혼자 작동하도록 내버려 두지 않고, 필요한 데이터와 도구를 연결하고 상태를 관리하며 결과를 검증하고 피드백하는 일련의 운영 구조를 의미합니다. 이제 중요한 질문은 “어떤 모델이 가장 뛰어난가?”에서 “그 모델이 어떤 환경에서 일하게 할 것인가?”로 이동하고 있습니다.

10월 14일 SK하이닉스 반도체 Academy가 주관한 [Tech 특강] 모델을 넘어 시스템으로: 인공지능은 어떻게 산업의 운영 원리가 되는가에서 서울대학교 전기정보공학부 윤성로 교수는 AI 엔지니어링의 무게중심이 Prompt에서 Context로, 다시 Harness로 이동하고 있다고 설명했습니다.

프롬프트의 시대에는 무엇을 어떻게 물어볼 것인지가 중요했습니다. 컨텍스트의 시대에는 AI가 답을 만드는 데 필요한 맥락과 정보를 얼마나 잘 제공하는지가 중요해졌습니다. 이제 하네스의 시대에는 AI가 사용하는 도구와 메모리, 상태, 권한, 검증, 피드백을 어떻게 설계할 것인지가 중요해지고 있습니다.

강연에서는 다소 역설적인 사례도 소개됐습니다. 비교적 오래된 모델이라도 에이전트 루프와 도구 사용을 결합했을 때, 더 좋은 모델을 단독으로 사용한 경우보다 높은 평가 결과가 제시됐습니다. 강연의 표현을 빌리면, 모델만큼 운영 구조가 중요해진 것입니다.

그렇다고 모델의 성능이 무조건 중요하지 않다는 뜻은 아닙니다. 아무리 훌륭한 자동차라도 도로와 신호체계, 내비게이션과 운전 규칙이 없다면 목적지에 안전하게 도착하기 어렵습니다. 반대로 자동차의 성능이 조금 부족하더라도 길이 잘 정비돼 있고 운행 체계가 갖춰져 있다면 더 안정적인 결과를 낼 수 있습니다.

AI도 마찬가지입니다.

무엇을 참고해야 하는지, 어떤 도구를 사용해야 하는지, 어느 단계에서 멈춰야 하는지, 누구에게 확인받아야 하는지, 이전 작업의 어떤 내용을 기억해야 하는지가 설계돼야 합니다.

좋은 AI를 도입하는 것과 AI가 좋은 일을 하게 만드는 것은 서로 다른 문제입니다.

모델은 사올 수 있지만, 하네스는 사올 수 없습니다

기업은 뛰어난 AI 모델을 구매하거나 외부 서비스를 통해 이용할 수 있습니다. 대부분의 기업이 일정 수준 이상의 모델에 접근할 수 있게 되면 모델 자체는 점차 공통 기반이 됩니다.

그러나 하네스는 다릅니다.

우리 회사의 데이터가 어디에 있는지, 업무가 어떤 순서로 이루어지는지, 어떤 결과를 신뢰할 수 있는지, 누가 어떤 권한으로 검토하고 승인해야 하는지는 외부 모델이 알 수 없습니다.

같은 AI를 사용하더라도 제조기업과 금융기업이 요구하는 답은 다릅니다. 같은 제조기업 안에서도 생산, 품질, 기술, 영업, HR이 사용하는 기준과 언어가 다릅니다. 심지어 같은 업무라도 회사마다 규칙과 의사결정 방식이 다릅니다. 그 차이를 만드는 것이 하네스입니다. 모델은 사오는 것이지만, 하네스는 우리 업무에 맞게 구축해야 합니다. 모델이 범용적인 지능이라면 하네스는 그 지능을 우리 조직의 목적, 데이터, 규칙, 책임 구조와 연결하는 시스템입니다. 따라서 AI 시대의 기업 경쟁력은 단순히 어떤 모델을 먼저 도입했느냐로 결정되지 않습니다. AI가 우리 회사의 맥락 안에서 신뢰할 수 있는 일을 하도록 어떤 운영 구조를 설계했느냐에서 차이가 생깁니다.

하네스를 구축하려면 도구를 연결하는 기술만 필요한 것이 아닙니다.

무엇이 정상이고 무엇이 비정상인지 알아야 합니다. 어떤 데이터가 중요하고 어떤 데이터는 제외해야 하는지 판단해야 합니다. 어떤 규칙을 반드시 지켜야 하며, 어느 지점부터 인간의 승인이 필요한지 정해야 합니다.

이러한 판단의 바탕에는 도메인 지식이 있습니다.

AI가 생산 공정의 정보를 분석하더라도 정상 범위와 예외 상황을 정의하는 것은 현장을 아는 사람입니다. AI가 인사 데이터를 분석하더라도 제도와 조직 맥락을 고려해 결과를 해석하는 것은 HR 전문가입니다. AI가 고객 데이터를 바탕으로 제안서를 작성하더라도 고객의 실제 요구와 산업의 특성을 판단하는 것은 영업 전문가입니다.

AI 시대가 되면 전문지식의 가치가 낮아질 것이라는 전망도 있었습니다. AI가 필요한 정보를 알고 있고, 누구나 AI에게 물어볼 수 있으니 개인이 많은 지식을 축적할 필요가 없다는 생각이었습니다.

그러나 실제로는 정반대의 일이 일어나고 있습니다.

AI가 더 많은 초안을 만들수록 무엇이 맞고 틀렸는지 판단할 사람이 필요합니다. AI가 더 많은 선택지를 제시할수록 어떤 선택이 우리 조직과 고객에게 적합한지 결정할 사람이 필요합니다.

AI가 구조화를 담당할수록 인간에게는 검증하고 승인하는 능력이 더욱 중요해집니다.

많은 기업이 숙련 전문가의 머릿속에 있는 지식을 꺼내 조직의 자산으로 만들고 싶어 합니다.

오랫동안 현장에서 일한 숙련자는 매뉴얼만으로는 설명하기 어려운 판단 기준을 가지고 있습니다. 설비의 작은 변화만으로 이상 징후를 발견하고, 문서에 기록되지 않은 과거의 실패를 기억하며, 숫자만으로는 보이지 않는 위험을 알아차립니다.

그러나 여기에는 근본적인 어려움이 있습니다.

사람은 자신이 아는 것을 모두 말과 글로 설명할 수 없습니다.

숙련자는 어느 순간 무엇인가 잘못됐다는 것을 알아차리지만, 그 판단이 어떤 정보와 경험의 조합에서 나왔는지 완벽하게 설명하지 못할 수 있습니다. 따라서 숙련자의 경험을 AI에 입력한다고 해서 곧바로 조직의 신뢰할 수 있는 지식이 되는 것은 아닙니다.

AI가 말을 정리하고 관계를 찾아 구조화할 수는 있습니다. 그러나 AI가 만든 구조가 정말로 숙련자의 판단을 정확하게 반영했는지 확인하는 과정이 필요합니다.

강연에서 가장 인상 깊었던 내용은 암묵지의 지식화 과정이었습니다.

보유 데이터 → AI 구조화 → 검토용·후보 모델 → 점검·승인 → 신뢰 모델

AI는 흩어진 데이터를 모으고, 반복되는 패턴을 찾아내며, 전문가가 가진 경험을 일정한 형식으로 구조화할 수 있습니다. 그러나 AI가 구조화했다는 사실만으로 그것을 신뢰할 수 있는 지식이라고 부를 수는 없습니다.

구조화된 결과가 실제 현장을 정확하게 반영하는지, 중요한 예외가 빠지지 않았는지, 잘못된 관계가 만들어지지 않았는지 확인해야 합니다. 이 점검과 승인을 수행하는 주체는 결국 사람입니다.

HITL, 즉 Human-in-the-Loop의 핵심도 여기에 있습니다. 인간이 모든 작업을 처음부터 수행한다는 뜻이 아니라, 중요한 판단과 검증의 경계에 인간이 존재해야 한다는 의미입니다.

저는 바로 이 지점이 AI 시대의 새로운 직업 윤리라고 생각합니다.

과거에는 지식을 많이 보유한 사람이 전문가였습니다. 이제는 AI가 만들어낸 결과를 검토하고, 근거와 맥락을 확인하며, 자신의 이름으로 승인할 수 있는 사람이 전문가입니다.

승인은 단순히 버튼을 누르는 행위가 아닙니다.

승인은 “이 결과가 왜 맞는지 설명할 수 있습니다”, “이 결과가 적용될 범위와 한계를 알고 있습니다”, “문제가 발생했을 때 책임 있게 판단할 수 있습니다”라는 전문적 선언입니다.

그러므로 지식화의 경계는 AI의 생성이 아니라 인간의 검증과 승인에서 완성됩니다.

우리는 AI가 도입되면 숙련자의 역할이 줄어들 것이라고 생각했습니다. 그러나 숙련자의 지식이 AI와 시스템을 통해 조직 전체로 전달될 때, 숙련자는 지식을 직접 사용하는 사람을 넘어 지식의 원천, 최종 승인자, 기준 제시자가 됩니다. AI 시대의 숙련자는 대체 대상이 아니라 승인 루프의 중심입니다.

다만 여기에는 중요한 전제가 있습니다. 숙련자의 경험이 개인의 머릿속에만 머물러서는 안 됩니다. 관찰과 대화, 데이터와 사례, 실패와 반려 기록을 통해 조직이 활용할 수 있는 후보 지식으로 끌어내야 합니다.

AI는 이 과정에서 강력한 조력자가 될 수 있습니다. 인터뷰를 정리하고, 서로 다른 사례에서 공통 패턴을 찾고, 용어와 관계를 연결하고, 검토 가능한 초안을 만들 수 있습니다.

그러나 어디까지나 초안입니다.

AI가 숙련자의 경험을 구조화하고, 숙련자가 그 구조를 점검하고 승인할 때 개인의 암묵지는 비로소 조직이 신뢰하고 활용할 수 있는 지식으로 전환됩니다.

AI가 모두에게 보편적인 도구가 되면 AI 도구를 사용할 수 있다는 사실 자체는 차별점이 되기 어렵습니다.

중요한 것은 AI가 내놓은 결과를 판별하는 능력입니다.

• 결과가 그럴듯하지만 틀렸다는 것을 알아차릴 수 있습니까?

• 중요한 예외가 누락됐다는 사실을 발견할 수 있습니까?

• 우리 업무의 규칙과 맞지 않는 부분을 설명할 수 있습니까?

• 어떤 조건에서는 적용할 수 있지만, 어떤 조건에서는 사용해서는 안 된다고 판단할 수 있습니까?

이러한 판단은 프롬프트 기술만으로 만들어지지 않습니다.

업무를 깊이 이해하고, 다양한 사례를 경험하고, 실패의 원인을 분석하며, 결과에 대한 책임을 져본 사람이 판단할 수 있습니다. 결국 도메인 지식입니다.

따라서 최신 AI 도구를 익히는 데만 모든 에너지를 사용해서는 안 됩니다. 도구는 계속 바뀝니다. 오늘의 최고 모델이 내일도 최고라는 보장은 없습니다. 인터페이스와 기능도 빠르게 평준화될 것입니다.

하지만 고객과 현장, 제품과 공정, 사람과 조직을 깊이 이해하는 전문성은 다른 사람이 쉽게 복제할 수 없습니다. AI를 배우는 것과 자기 분야의 전문성을 쌓는 것은 서로 반대되는 선택이 아닙니다. 오히려 AI를 잘 활용하려면 자신의 업무를 더 깊이 알아야 합니다.

AI 시대에 전문성이란 모든 답을 혼자 만들어내는 능력이 아닙니다. AI가 만든 답을 검증하고, 맥락에 맞게 수정하며, 책임 있게 승인하는 능력입니다.

AI 시대에 가장 중요한 것은 결국 사람이라는 결론은 인간을 위로하기 위한 선언이 아닙니다.

AI가 많은 일을 대신할수록 인간의 역할이 사라지는 것이 아니라, 인간의 역할이 생성에서 검증으로, 수행에서 승인으로, 정보 보유에서 책임 있는 판단으로 이동하기 때문입니다.

모델은 점점 더 좋아질 것입니다. AI 도구는 누구나 사용할 수 있게 될 것입니다.

그렇다면 마지막에 차이를 만드는 것은 분명합니다.

• 자신의 업무를 가장 깊이 이해하는 사람,

• AI의 결과에서 오류와 예외를 발견하는 사람,

• 숙련자의 암묵지를 조직의 지식으로 전환하는 사람,

• 그리고 그 결과를 책임 있게 승인할 수 있는 사람입니다.

모델은 사올 수 있습니다.
그러나 우리 조직의 하네스는 우리가 만들어야 합니다.

그리고 그 하네스의 가장 중요한 중심에는 지금도 사람이 있습니다.