메모리 벽 — AI 가속기의 진짜 병목은 연산이 아니다

AI 하드웨어 이야기라고 하면 대개 연산 성능부터 떠올린다. 그런데 요즘 가속기 설계에서 진짜 골칫거리는 연산이 아니라 메모리다. 계산을 담당하는 회로는 놀랄 만큼 빨라졌는데, 그 회로에 데이터를 실어 나르는 통로가 그 속도를 따라잡지 못한다. 이 격차를 오래전부터 '메모리 벽(memory wall)'이라고 불러왔고, AI 시대에 들어 이 벽이 어느 때보다 크게 부각됐다.

HBM(고대역폭 메모리)이 AI 반도체 뉴스의 단골 주인공이 된 이유가 여기 있다. HBM은 이 메모리 벽을 조금이라도 낮추기 위해 태어난 부품이고, AI 가속기의 진짜 성능을 좌우하는 숨은 병목이다.

메모리 벽이란 무엇인가

컴퓨터의 역사를 보면 연산 성능은 꾸준히, 그것도 아주 빠르게 좋아졌다. 그런데 메모리에서 데이터를 꺼내오는 속도는 그만큼 빠르게 따라오지 못했다. 두 곡선의 격차가 시간이 갈수록 벌어졌고, 어느 순간부터는 연산기가 일할 준비가 됐는데도 데이터가 도착하기를 기다리며 노는 시간이 생기기 시작했다. 이 구조적 불균형이 바로 메모리 벽이다.

일반적인 프로그램에서는 캐시 같은 장치로 이 문제를 어느 정도 가릴 수 있었다. 그런데 거대 언어 모델은 사정이 다르다. 모델의 가중치가 워낙 방대해서, 답 하나를 만드는 동안에도 엄청난 양의 데이터를 메모리에서 쉼 없이 읽어들여야 한다. 이때는 연산 능력이 아무리 뛰어나도 메모리가 데이터를 얼마나 빨리 대주느냐가 전체 속도를 결정한다. AI 추론이 '메모리에 묶인(memory-bound)' 작업이라 불리는 이유다.

HBM은 이 벽을 어떻게 낮추나

HBM의 발상은 단순하면서 대담하다. 메모리 칩을 평면에 나란히 늘어놓는 대신 수직으로 쌓아 올리고, 이 적층 메모리를 연산 칩 바로 옆에 붙여버린다. 데이터가 오가는 통로를 넓게 여러 갈래로 뚫어, 한 번에 훨씬 많은 데이터를 실어 나른다. 거리가 짧아지고 통로가 넓어지니 대역폭이 크게 올라간다.

이 구조 덕분에 AI 가속기는 방대한 가중치를 훨씬 빠르게 공급받는다. 다만 이렇게 칩을 쌓고 붙이는 첨단 패키징은 만들기가 까다롭고 수율 관리가 어렵다. 그래서 HBM은 비싸고, 공급이 수요를 따라가기 벅찬 상황이 이어져 왔다. AI 가속기의 몸값에서 HBM이 차지하는 비중이 상당하다는 점도 이 어려움을 방증한다.

왜 발열과 전력까지 얽히나

메모리를 연산기 옆에 촘촘히 쌓으면 그만큼 열도 한곳에 몰린다. 데이터를 옮기는 일 자체도 전력을 소모한다. 흥미롭게도 최신 가속기에서는 연산보다 데이터를 이리저리 나르는 데 드는 전력이 더 큰 비중을 차지하기도 한다. 그래서 요즘 하드웨어 설계는 '어떻게 더 빨리 계산하나'만큼이나 '어떻게 데이터를 덜 움직이나'를 고민한다. 메모리 벽은 성능만이 아니라 전력 효율의 문제이기도 하다.

이 흐름이 산업에 던지는 의미

메모리가 병목이라는 사실은 반도체 산업의 힘의 균형까지 바꾼다. 예전에는 연산 칩을 만드는 쪽이 무대의 중심이었다면, 지금은 고성능 메모리를 안정적으로 공급하는 능력이 그에 못지않게 중요해졌다. AI 가속기 한 장을 완성하려면 연산 칩과 HBM, 그리고 둘을 붙이는 첨단 패키징이 모두 맞물려야 하기 때문이다. 어느 한 축이 삐걱대면 완제품 전체가 밀린다.

• 공급망의 재편 — 메모리와 패키징이 완제품 물량을 좌우하는 열쇠가 됐다.
• 설계 철학의 변화 — '연산 최적화'에서 '데이터 이동 최소화'로 무게중심이 옮겨간다.
• 새로운 접근의 등장 — 연산을 메모리 가까이 옮기는 등 벽 자체를 우회하려는 시도가 활발해진다.

나는 이 대목이 AI 하드웨어를 이해하는 가장 중요한 관점 중 하나라고 생각한다. 화려한 연산 성능 숫자에 눈길이 가기 쉽지만, 그 성능을 실제로 끌어내는 건 데이터를 얼마나 빨리, 얼마나 적은 전력으로 나르느냐다. 메모리 벽을 어떻게 다루느냐가 다음 세대 하드웨어의 진짜 승부처다.

자주 묻는 질문

연산 성능만 높으면 AI가 빨라지는 것 아닌가요?

그렇지 않습니다. 거대 모델 추론은 방대한 데이터를 메모리에서 계속 읽어와야 하는 작업이라, 연산기가 아무리 빨라도 메모리가 데이터를 제때 공급하지 못하면 그 속도를 다 쓰지 못합니다. 실제 성능은 연산 능력과 메모리 대역폭의 균형에서 나옵니다.

HBM은 왜 그렇게 비싼가요?

메모리 칩을 수직으로 쌓고 이를 연산 칩 옆에 정밀하게 붙이는 첨단 패키징이 필요하기 때문입니다. 이 과정은 제조 난이도가 높고 수율 관리가 까다로워, 일반 메모리보다 원가가 높고 공급도 제한적입니다.

메모리 벽은 완전히 없앨 수 있나요?

근본적으로 없애기는 어렵고, 낮추고 우회하는 방향으로 대응합니다. HBM으로 대역폭을 넓히거나, 연산을 메모리 가까이 옮기거나, 데이터 이동 자체를 줄이는 설계로 격차를 관리합니다. 벽을 다루는 방식이 곧 하드웨어의 경쟁력이 됩니다.

이 문제는 스마트폰에도 해당되나요?

규모는 다르지만 원리는 같습니다. 온디바이스 AI가 늘면서 모바일 기기에서도 메모리 대역폭과 데이터 이동 효율이 점점 중요해지고 있습니다. 발열과 배터리 제약이 큰 모바일에서는 오히려 데이터 이동을 줄이는 설계가 더 절실하기도 합니다.