AI 시대의 병목은 기술이 아니라 ‘구조를 읽는 눈’에 있다

AI 시대의 주인공을 하나만 꼽으라면, 많은 사람들은 주저 없이 엔비디아를 떠올릴 것입니다. 젠슨 황 CEO가 대한민국을 찾았을 때 그 어떤 인사보다 큰 화제를 모았던 장면은, 엔비디아가 단순한 GPU 기업을 넘어 AI 시대의 선두주자이자 상징이 되었음을 보여줍니다. 지난 몇 년 동안 시장은 AI 경쟁을 더 빠른 GPU, 더 많은 연산능력, 더 큰 데이터센터를 확보하는 싸움으로 이해해왔습니다. 엔비디아의 GPU가 부족하다는 뉴스가 나오면 시장은 즉각 반응했고, 데이터센터 투자가 늘어난다는 소식은 AI 산업의 성장을 상징하는 장면처럼 받아들여졌습니다.

그런데 최근의 흐름은 AI 산업의 진짜 병목이 단순히 GPU에만 있지 않다는 사실을 보여줍니다.

AI는 70%가 메모리라는 표현이 있을만큼 메모리 의존도가 높은 산업으로 진화하고 있습니다.

프런티어 모델 학습은 수천 개의 가속기에 걸쳐 진행되고, 수백만 사용자를 동시에 대응하는 추론 서비스는 더 긴 대화 맥락, 멀티모달 데이터, 영상 생성, AI 에이전트까지 감당해야 합니다. 이 모든 변화는 더 많은 연산만이 아니라 더 큰 메모리 용량과 대역폭을 요구합니다.

과거 메모리는 ‘산업의 쌀’로 불렸습니다. 반드시 필요하지만 상대적으로 흔하고, 경기 사이클에 따라 가격이 오르내리는 부품으로 여겨졌습니다. 호황기에는 증설하고, 공급 과잉이 오면 가격이 무너지는 전형적인 순환재였습니다. 그래서 많은 사람들은 메모리를 AI의 전략적 병목으로 보지 못했습니다. GPU와 모델의 성능을 읽는 데 익숙했던 시장은, 그 GPU가 제대로 작동하기 위해 필요한 HBM과 첨단 패키징, 그리고 이를 지탱하는 소재 공급망까지는 충분히 주목하지 못했습니다.

이 지점에서 가장 중요한 통찰이 나옵니다. AI 산업의 병목은 고정되어 있지 않습니다.

병목은 언제나 가장 대체하기 어렵고, 가장 많은 의존성이 몰려 있는 지점으로 이동합니다. 한때는 GPU가 그 병목이었고, 지금은 HBM과 D램, 첨단 패키징, 그리고 텅스텐 같은 핵심 소재까지 병목의 범위가 넓어지고 있습니다. 앞으로는 전력, 데이터센터 운영 역량, 통신망, AI 모델