HBM4와 AI 가속기 — 메모리 대역폭 전쟁의 다음 라운드, 병목의 진짜 위치

왜 AI에서 메모리 대역폭이 병목인가

현대 AI 가속기는 초당 수백 조 번의 곱셈-덧셈(FLOP)을 할 수 있다. 문제는 그 연산에 필요한 데이터를 제때 공급하지 못한다는 점이다. 연산 능력은 지난 10년간 극적으로 늘었지만, 메모리에서 칩으로 데이터를 나르는 대역폭은 그만큼 빠르게 따라오지 못했다. 이 격차를 메모리 월(memory wall)이라 부른다.

이걸 정량적으로 보는 도구가 루프라인(roofline) 모델이다. 어떤 커널의 성능은 두 천장(roof) 중 낮은 쪽에 걸린다. 하나는 연산 천장(peak FLOP/s), 다른 하나는 대역폭 천장(peak bytes/s × 산술 강도). 여기서 산술 강도(arithmetic intensity)는 '메모리에서 읽은 1바이트당 몇 번 연산하느냐'다. 산술 강도가 낮으면 연산기가 놀고, 성능은 대역폭에 지배당한다.

LLM 추론의 디코딩 단계가 정확히 이 저(低)강도 영역에 산다. 토큰을 하나 만들 때마다 모델의 거의 모든 가중치를 한 번씩 읽어야 하는데, 배치가 작으면 그 가중치로 하는 연산 횟수가 적다. 즉 '읽는 양 대비 계산량'이 낮아 철저히 메모리 바운드가 된다. 이것이 왜 700억 파라미터 모델의 토큰 생성 속도가 GPU의 FLOP 수치가 아니라 메모리 대역폭에 거의 선형으로 비례하는지의 이유다.

HBM의 원리 — 적층 DRAM·TSV·인터포저

일반 DDR/GDDR 메모리는 기판 위에 칩을 나란히 눕히고 배선으로 연결한다. 배선 개수(핀 수)에 물리적 한계가 있어 인터페이스 폭을 무한정 넓힐 수 없다. HBM의 발상은 다르다. DRAM 다이를 수직으로 적층하고, 칩을 위아래로 관통하는 미세 구멍인 TSV(Through-Silicon Via)로 층을 연결한다. 이렇게 하면 좁은 면적에 엄청나게 많은 I/O를 낼 수 있다.

적층된 HBM 스택은 인터포저(interposer)라는 실리콘 중간 기판 위에서 GPU/ASIC 다이 바로 옆에 배치된다. 인터포저에는 수천 가닥의 미세 배선이 지나가며, 이 짧고 넓은 경로 덕분에 스택 하나가 1024비트(HBM3E)에서 2048비트(HBM4)에 이르는 초광폭 인터페이스를 갖는다. 폭이 넓으니 신호 속도(핀당 속도)를 무리하게 올리지 않아도 총 대역폭이 커지고, 거리도 짧아 전력 효율이 좋다.

가속기 패키지에는 보통 이런 스택이 4~8개 붙는다. 그래서 'GPU 하나의 대역폭'은 스택당 대역폭 × 스택 수로 커진다. 물리적으로는 GPU 다이를 가운데 두고 HBM 스택들이 둘러싼 형태이며, 전체가 하나의 큰 패키지(2.5D 패키징)로 묶인다.

수치는 JEDEC 표준과 제조사 공개 로드맵에 근거한 대략적 범위이며, 실제 제품별로 달라진다.

HBM3E에서 HBM4로 — 무엇이 달라지나

HBM4의 가장 근본적인 변화는 인터페이스 폭이 1024비트에서 2048비트로 두 배가 된 것이다. 핀당 속도를 극단적으로 밀어붙이는 대신 통로 자체를 넓혀 대역폭을 확보하는 전략이다. 이 방식은 신호 무결성과 전력 측면에서 이점이 있지만, 인터포저 배선 밀도와 패키징 난이도가 크게 올라간다.

두 번째 변화는 베이스 다이(base die)의 커스터마이징이다. HBM 스택 맨 아래층은 DRAM 셀이 아니라 컨트롤러·I/O 로직이 있는 베이스 다이인데, HBM4에서는 이걸 첨단 파운드리 로직 공정으로 만들 수 있게 열렸다. 즉 고객(엔비디아 같은 가속기 설계사)이 원하는 기능 — 특정 프로토콜, 테스트 로직, 나아가 일부 연산 기능 — 을 메모리 바로 밑에 넣을 여지가 생겼다. 이는 메모리 회사와 로직 파운드리, 가속기 설계사가 삼각으로 얽히는 새로운 협업 구조를 만든다.

세 번째는 단수와 용량 증가다. 12단을 넘어 16단 적층이 본격화되며, 스택당 용량이 늘어 가속기 한 장에 더 큰 모델을 올릴 수 있다. 다만 적층이 높아질수록 열이 빠져나갈 길이 막히고, 얇게 간 다이를 휘지 않게 쌓는 공정 난이도가 급등한다.

용량 vs 대역폭 — 다른 축의 문제

둘은 자주 혼동되지만 별개의 제약이다. 용량(GB)은 '모델과 KV 캐시가 물리적으로 들어가느냐'를 결정하고, 대역폭(TB/s)은 '들어간 뒤 얼마나 빨리 도느냐'를 결정한다. 용량이 부족하면 모델을 여러 GPU에 쪼개야 하고(그러면 GPU 간 통신이 새 병목이 된다), 대역폭이 부족하면 한 GPU 안에서도 토큰 생성이 느려진다.

긴 컨텍스트 시대에는 KV 캐시가 용량을 급격히 잡아먹는다. 시퀀스가 길어질수록 캐시는 선형으로 커지고, 배치까지 키우면 곱으로 커진다. 그래서 HBM 용량 증가는 단지 '더 큰 모델'이 아니라 '더 긴 컨텍스트·더 큰 배치'를 위한 것이기도 하다. 대역폭과 용량을 동시에 밀어야 하는 이유다.

CXL·온패키지 메모리와의 관계

HBM은 빠르지만 비싸고 용량 확장에 한계가 있다. 그래서 메모리 계층이 다시 층화되고 있다. 가장 뜨겁고 가까운 층이 온패키지 HBM이고, 그 바깥에 CXL(Compute Express Link)로 붙는 대용량·저(低)대역폭 메모리 풀이 온다. CXL은 PCIe 물리계층 위에서 캐시 일관성을 갖는 메모리 확장·공유를 가능하게 하는 표준이다.

구도는 이렇다. 자주 쓰는 뜨거운 데이터(활성 가중치·KV 캐시 상단)는 HBM에, 덜 뜨거운 데이터(콜드 KV, 오프로드된 파라미터, 임베딩 테이블)는 CXL 계층에 둔다. HBM이 '용량으로는 못 이기지만 속도로 이기는' 층이라면, CXL은 '속도로는 못 이기지만 용량과 유연성으로 버티는' 층이다. 2026년 시점에서 CXL은 메모리 확장·풀링 용도로 자리를 잡아가는 중이며, HBM을 대체하는 게 아니라 보완한다.

공급망과 시장 — 3사 구도

HBM은 사실상 세 회사가 만든다. SK하이닉스가 선단 세대에서 앞서 있다는 평가를 받아왔고, 삼성전자와 마이크론이 뒤를 쫓는다. HBM은 일반 DRAM보다 공정이 훨씬 까다롭고 수율이 낮아, 잘 만드는 회사와 그렇지 못한 회사의 격차가 크다. 이 때문에 HBM은 메모리 업계에서 이례적으로 '수요가 공급을 끌고 가는' 고마진 제품이 됐다.

여기에 HBM4의 커스텀 베이스 다이 트렌드가 판을 흔든다. 베이스 다이를 로직 파운드리에서 찍는다는 건, 메모리 회사가 파운드리(예: TSMC)와 협업해야 함을 뜻한다. 자체 파운드리를 가진 회사와 갖지 않은 회사의 전략이 갈리고, 가속기 설계사·메모리사·파운드리 3자의 합종연횡이 세대 경쟁의 핵심 변수가 됐다. 물량은 대형 AI 사업자와의 장기 공급 계약으로 몇 년치가 미리 팔린다.

전력·발열·비용 — 숨은 제약

HBM은 전력 효율이 좋은 인터페이스지만, 총량은 만만치 않다. 스택이 여럿이고 클록이 높으면 패키지 안에서 상당한 열이 난다. 문제는 위치다. HBM은 GPU 다이 바로 옆, 같은 패키지 안에 있어 GPU가 내뿜는 열의 영향을 직접 받는다. DRAM은 온도가 오르면 리프레시를 더 자주 해야 하고, 이는 성능·전력에 부담을 준다. 16단 적층은 이 열 문제를 더 어렵게 만들며, 첨단 냉각(액침·다이렉트 냉각)이 데이터센터의 기본이 되는 배경이다.

비용도 무겁다. HBM은 가속기 원가(BOM)에서 큰 비중을 차지하는 항목으로 알려져 있으며, 세대가 올라갈수록 그 비중이 커진다. 대역폭을 위해 인터포저·TSV·고단 적층이라는 값비싼 공정을 쓰기 때문이다. 그래서 '대역폭당 비용'과 '와트당 대역폭'이 세대 경쟁의 진짜 지표가 된다.

개발자 관점 — 무엇이 바뀌나

하드웨어 얘기 같지만, 이 병목은 소프트웨어 설계에 그대로 내려온다. 추론이 메모리 바운드라는 사실은 최적화의 방향을 정해준다.

• 양자화: 가중치를 FP16에서 INT8/FP8/INT4로 줄이면 읽어야 할 바이트가 줄어든다. 메모리 바운드 구간에서 이는 곧 속도이자 용량 절감이다. 정확도 손실과의 트레이드오프를 감수할 수 있다면 가장 직접적인 지렛대다.
• KV 캐시 관리: 긴 컨텍스트에서 KV 캐시가 용량·대역폭을 모두 압박한다. KV 양자화, PagedAttention식 페이지 관리, 캐시 재사용(prefix caching)이 실효 처리량을 좌우한다.
• 배치(batching): 배치를 키우면 같은 가중치 읽기로 여러 요청을 처리해 산술 강도가 올라가고, 메모리 바운드에서 연산 바운드 쪽으로 이동한다. 연속 배칭(continuous batching)이 서빙 처리량의 핵심인 이유다.

아래는 왜 배치가 대역폭 효율을 바꾸는지를 단순화해 보여주는 예시다.

# 디코딩 1스텝의 대략적 병목 추정 (개념 예시)
# 핵심: 가중치는 배치와 무관하게 '한 번' 읽는다 → 배치가 클수록 바이트당 연산이 늘어난다

weight_bytes = 70e9 * 2          # 70B 파라미터 * FP16(2바이트)
bw = 3.0e12                      # 가속기 메모리 대역폭 3 TB/s

for batch in (1, 8, 32):
    # 가중치 읽기 시간은 배치와 무관 (KV 등은 단순화 위해 생략)
    t_read = weight_bytes / bw   # 초
    tokens_per_sec = batch / t_read
    print(batch, round(tokens_per_sec, 1), "tok/s (aggregate)")

# batch=1  -> ~21 tok/s
# batch=8  -> ~171 tok/s
# batch=32 -> ~685 tok/s
# 총 처리량이 배치에 비례해 오르는 건, 병목이 '가중치 읽기' 한 번에 묶여 있기 때문

물론 배치를 무한정 키우면 KV 캐시가 용량을 넘고, 지연시간(latency)이 나빠진다. 그래서 실서빙은 '지연 예산 안에서 최대 배치'를 찾는 문제로 귀결된다. HBM 대역폭이 커지면 이 균형점 자체가 위로 올라간다 — 같은 지연 목표에서 더 많은 사용자를 태울 수 있다.

2026년 동향 정리

2026년의 큰 그림은 세 가지다. 첫째, HBM4로의 전환이 차세대 플래그십 가속기와 함께 본격화되며, 2048비트 인터페이스와 커스텀 베이스 다이가 표준적 논의가 됐다. 둘째, 공급이 곧 경쟁력이라는 구도가 굳어져, 누가 고단·고수율 HBM을 안정적으로 대는지가 가속기 출하량을 좌우한다. 셋째, 메모리 계층화가 진전되어 HBM(속도) + CXL(용량)의 역할 분담이 자리를 잡아간다.

개발자에게 던지는 메시지는 명확하다. 모델을 더 크게 만드는 것만큼이나, 바이트를 아끼는 설계(양자화·캐시·배칭)가 곧 비용과 속도다. 대역폭 전쟁은 하드웨어의 문제로 보이지만, 그 승패는 소프트웨어가 하드웨어의 물리적 성질을 얼마나 잘 이해하고 다루느냐에서 갈린다.

자주 묻는 질문

왜 그냥 GDDR 같은 값싼 메모리를 더 많이 붙이지 않나요?

대역폭 때문입니다. GDDR은 기판에 눕혀 배선으로 연결하므로 인터페이스 폭에 물리적 한계가 있어, 같은 대역폭을 내려면 훨씬 높은 클록과 전력이 필요합니다. HBM은 다이를 수직 적층하고 TSV로 초광폭 인터페이스를 만들어, 낮은 핀당 속도로도 스택당 TB/s급 대역폭을 냅니다. 데이터센터 AI처럼 대역폭과 전력 효율이 동시에 중요한 곳에서 HBM이 선택되는 이유입니다.

HBM4가 나오면 추론 속도가 그만큼 빨라지나요?

메모리 바운드 구간(작은 배치의 토큰 생성)에서는 대역폭 증가가 거의 직접적인 속도 향상으로 이어집니다. 다만 '인터페이스 폭 2배 = 성능 2배'는 아닙니다. 실제 대역폭은 클록·스택 수·수율에 좌우되고, 워크로드가 연산 바운드거나 통신 바운드면 대역폭 증가의 체감은 줄어듭니다.

용량과 대역폭 중 무엇이 더 중요한가요?

둘 다 필요하지만 축이 다릅니다. 용량은 모델과 KV 캐시가 물리적으로 들어가는지를, 대역폭은 들어간 뒤의 속도를 결정합니다. 긴 컨텍스트·큰 배치를 노린다면 용량이, 낮은 지연의 토큰 생성 속도를 노린다면 대역폭이 먼저 걸립니다. HBM4가 둘을 함께 밀어붙이는 이유입니다.

CXL이 HBM을 대체하게 되나요?

아닙니다. CXL은 PCIe 위에서 대용량·유연한 메모리 확장을 제공하지만 대역폭은 HBM에 크게 못 미칩니다. 뜨거운 데이터는 HBM에, 덜 뜨거운 데이터는 CXL 풀에 두는 계층 구조가 현실적인 방향입니다. 대체가 아니라 보완입니다.

개발자가 당장 할 수 있는 최적화는 무엇인가요?

추론이 메모리 바운드라는 전제에서 세 가지가 효과적입니다. 첫째 양자화(FP8/INT8/INT4)로 읽는 바이트를 줄이고, 둘째 KV 캐시를 양자화·페이지 관리·프리픽스 재사용으로 아끼고, 셋째 연속 배칭으로 산술 강도를 높입니다. 각각 정확도·지연과의 트레이드오프가 있으므로, 서빙 지연 예산 안에서 균형점을 찾는 것이 핵심입니다.

커스텀 베이스 다이는 왜 중요한 변화인가요?

HBM4에서 스택 맨 아래 베이스 다이를 첨단 로직 파운드리 공정으로 만들 수 있게 되면서, 가속기 설계사가 원하는 기능을 메모리 바로 밑에 넣을 여지가 생겼습니다. 이는 메모리사·파운드리·가속기 설계사가 삼각으로 협업하게 만들어, 단순한 부품 공급을 넘어 세대 경쟁의 전략적 축이 됐습니다.