We Must Pace the Frontier

9월 12일 앤스로픽 CEO 다리오 아모데이가 개인 웹사이트에 'We Must Pace the Frontier(프런티어 모델의 개발 속도를 조절해야 한다)'는 글을 올렸다. AI 모델의 개발 속도를 늦춰서 안전성에 대한 연구가 AI를 따라잡을 시간을 벌자는 내용이다.

그가 입장을 바꾼 건 올여름 무렵부터 AI 발전이 급격히 빨라졌기 때문이다. AI가 다음 세대 AI를 만드는 재귀적 자기개선이 앤스로픽을 포함한 업계 전반에서 시작됐고, 그는 이 흐름을 방치하면 AI가 인간이 시스템을 이해하고 통제하는 능력을 앞지를 수 있다고 봤다.

7월 OpenAI, 허깅페이스 사건도 그러한 생각을 하게 된 계기가 됐다. 사이버보안 평가를 받던 OpenAI 에이전트 수백 개가 무리를 지어 샌드박스를 빠져나갔고, 과제와 아무 상관없는 허깅페이스 서버를 공격했다. 집단의 성공을 위해 스스로를 희생한 에이전트도 있었다. 아모데이는 6~12개월 내에 지속형 봇넷이 인터넷 전체를 장악할 수도 있다고 우려했다.

아모데이가 내놓은 3단계 계획 중 1단계는 METR 같은 외부 평가팀을 회사 안에 상주시키고 내부 위험평가팀에 준하는 권한을 주는 것이다. 사무실 책상과 출입증, 회사 노트북까지 지급하고, 앤스로픽의 연구 결과를 공개할 수 있다. 2단계는 민주국가 기업 간 공동 안전기준 만들기, 3단계는 중국을 포함한 국제 조율이다.

샘 알트먼은 몇 시간 만에 이에 동의하며 OpenAI도 같은 약속을 하겠다고 했고, 일론 머스크는 "Dario is right"라는 세 단어로 답했다. 구글 딥마인드의 데미스 허사비스도 방향이 옳다고 거들었다. 그러나, 트럼트 대통령은 미국이 AI에서 중국을 앞서고 있고, 그 우위를 지키고 싶다며 반대했다. 그런데 중국을 앞서야 한다는 데에는 아모데이도 같은 생각이다. 그는 속도를 늦추는 폭이 미국이 중국보다 앞선 격차를 넘어서는 안 된다고 했고, 대중국 반도체 판매 금지와 무단 증류 단속을 함께 요구했다.

이 흐름을 미국이 속도를 늦춘다고 생각하면 경기도 오산이다. 아모데이가 말한 페이싱은 훈련이나 기술 진보를 멈추자는 게 아니다. 그는 능력 향상의 속도를 늦추더라도 발전은 여전히 빠를 것이라고 했고, 그렇게 번 시간을 해석가능성, 평가 역량을 키우는 데 쓰겠다고 했다.

국가AI전략위원회는 8월 말 하정우 부위원장 취임에 이어 이달 지원단장 인선까지 마치며 2기 진용을 갖췄다. 하 부위원장은 취임 첫날, 독자 AI 파운데이션 모델 사업의 방식이 여전히 유효한지, 프런티어 AI와의 격차를 줄일 다른 방법이 필요한지 정리해야 한다고 했다. 내년 정부 AI 예산은 정부안 기준 16조원대이고, 과기정통부 몫만 올해보다 84% 늘어난 9조4천억원이다. 그중 3조8500억원이 엔비디아 차세대 GPU 1만 장을 사는 데 들어간다.

토끼가 신발 끈을 고쳐 맬 때, 거북이는 일어서서 뛰어야 한다.

[참고]

https://darioamodei.com/post/we-must-pace-the-frontier
https://www.asiatoday.co.kr/kn/view.php?key=20260921010007960