티스토리 뷰
목차
서론
최근 저는 7월 말 이후 삼성전자와 SK하이닉스 주가가 서서히 회복 되는 것을 메모리 반도체에 대한 시장의 기대치가 아직 까지는 살아있다고 보았습니다. 최근 피지컬 AI나 전기차 시장에서 중국의 기술력은 엄청난 속도로 성장을 하였습니다. 메모리 반도체 시장에서도 중국 정부의 막대한 자금 지원을 바탕으로 창신메모리, 양쯔메모리 같은 후발주자들이 그 격차를 점점 더 좁혀 오고 있고 유럽의 EUV 노광장비 대신 자체 개발한 DUV장비로 메모리반도체를 자체 기술로 생산하고 있습니다. 이러한 미국과 중국의 자본, 기술력 전쟁에서 국내 메모리 반도체 업체들이 어떤 해결책을 제시하고 있는지, 그리고 현재 피지컬 AI를 발전 시키기 위해 어떤 방향으로 진행하고 있는지에 대해 찾아보게 되었습니다. 대다수의 사람들이 엔비디아에서 만드는 GPU가 AI의 심장이라고 생각했을 겁니다. 저 또한 한동안 그렇게 봤습니다. 그런데 AI팩토리를 들여다볼수록 결론이 달라졌습니다. 진짜 병목은 연산도 있지만 더큰 문제는 기억이었습니다. 현재 현대차가 인수한 보스턴 다이나믹스의 아틀라스, 테슬라의 옵티머스 양산이 늦어지는 것 중 하나도 이부분이라 생각합니다. AI가 에이전틱·피지컬 방향으로 진화할수록 메모리 용량과 대역폭이 성능의 천장을 결정한다는 사실, 1996년부터 메모리를 지켜봐 온 제 눈에는 이게 또 한 번의 거대한 변곡점으로 읽힙니다.
피지컬 AI가 메모리를 폭식하는 이유
GPU 성능이 2배 오르면 AI도 2배 빨라질 것 같지만, 실제로는 그렇지 않습니다. 제가 직접 여러 추론 워크로드를 들여다봤을 때, 연산 칩이 쉬는 시간의 상당 부분이 메모리에서 데이터를 기다리는 시간이었습니다. 이 현상을 메모리 대역폭 병목이라고 합니다. 여기서 대역폭이란 메모리가 GPU로 데이터를 실어 나르는 도로의 차선 수라고 보시면 됩니다. 차선이 좁으면 아무리 빠른 차(GPU)도 막힐 수밖에 없습니다.
테슬라의 사례가 이를 가장 직관적으로 보여줍니다. 하드웨어3(HW3)에 FSD V14를 올렸을 때 하드웨어4(HW4)보다 판단이 느리다는 보고가 나왔는데, 일론 머스크에 따르면 HW3의 실효 메모리 대역폭은 HW4의 약 15% 수준, 즉 6.7배 차이입니다(출처: Tesla Autopilot). 같은 AI 지능을 넣어도 메모리 공급 속도가 달라지면 실제 행동 속도가 달라진다는 증거입니다. 솔직히 이건 저도 이 사례를 접하기 전까지는 이 정도로 극명할 줄 몰랐습니다.
피지컬 AI(Physical AI)란 소프트웨어 공간에만 머무는 기존 AI와 달리, 카메라·센서·액추에이터를 통해 물리 세계와 실시간으로 상호작용하는 AI를 말합니다. 휴머노이드 로봇이 대표적입니다. 이 AI가 부품을 집을 때 어떤 일이 벌어지는지 생각해 보십시오. 본다 → 거리·각도를 계산한다 → 파지 방법을 결정한다 → 손가락 힘을 조절한다 → 결과를 다시 본다. 이 루프가 1초에 수십 번 반복됩니다. LLM에게 "컵을 옮기는 과정을 설명해 줘"라고 하면 몇 줄이면 끝나지만, 실제 로봇이 컵을 옮기는 동안 처리해야 하는 데이터는 영상·거리·관절 상태·장애물 정보가 실시간으로 쌓이면서 수십 배로 불어납니다.
여기에 에이전틱 AI(Agentic AI)까지 더해지면 상황은 더 복잡해집니다. 에이전틱 AI란 사람 대신 목표를 설정받고 스스로 계획·실행·수정을 반복하는 AI입니다. AI 10개를 24시간 가동하면 처리하는 작업량은 사람 혼자보다 수백 배 이상입니다. 그 과정에서 KV 캐시(Key-Value Cache)가 급증합니다. KV 캐시란 AI가 입력된 문장을 자체 언어로 변환해 메모리에 쌓아 두는 중간 저장소인데, 컨텍스트 길이가 GPT 초기의 1,000 토큰에서 최근 100만 토큰 수준으로 1,000배 늘어나면서 이 캐시 용량도 그에 비례해 폭발적으로 커지고 있습니다. 제 경험상, AI 지능의 질은 모델 구조보다 이 메모리 인프라가 좌우하는 비중이 갈수록 커지고 있습니다.
- 피지컬 AI는 '본다→기억한다→판단한다→움직인다'를 실시간 반복하며 메모리 사용량이 누적 증가한다
- 테슬라 HW3 vs HW4: 동일 FSD 탑재 시 메모리 대역폭 6.7배 차이가 실제 반응 속도 차이로 이어진다
- 컨텍스트 토큰이 1,000배 늘어나면 KV 캐시 용량과 처리 속도도 그에 비례해 확보돼야 한다
- 에이전틱 AI 24시간 가동 시 작업량은 사람 대비 수백 배, 메모리 수요도 동반 급증한다
HBM에서 HBF로, 그리고 메모리 패권의 이동
저는 1996년에 인터넷이 막 퍼지던 시절, 파일을 주고받으려면 어딘가에 저장해야 한다는 사실을 보면서 '메모리 수요는 계속 늘어날 것'이라 직감했습니다. 그 판단이 지금까지 틀린 적이 없었고, 지금 AI 시대에도 그 구조가 그대로 반복되고 있습니다. 완전히 증폭된 형태로 말입니다.
HBM(High Bandwidth Memory)이란 D램 칩을 아파트처럼 수직으로 쌓아 GPU 바로 옆에 붙인 고대역폭 메모리입니다. 기존 D램 대비 데이터 통로를 수천 차선으로 넓혀 속도를 극대화한 구조인데, 문제는 컨텍스트가 길어지면서 KV 캐시 용량이 HBM이 감당할 수 있는 한계를 넘기 시작했다는 점입니다. GPU 한 장 옆에 HBM을 8~16개 붙여도 모자랍니다. 저도 이 시점이 작년 여름쯤부터라고 봅니다.
그래서 등장한 것이 HBF(High Bandwidth Flash)입니다. HBF란 낸드 플래시 칩을 HBM처럼 수직으로 적층해 HBM의 10배에 달하는 용량을 확보하면서도 상당한 속도를 유지하는 메모리 구조입니다. D램을 쌓은 것이 HBM이라면, 용량이 10배 큰 낸드를 쌓아 올린 것이 HBF입니다. SK하이닉스와 샌디스크는 이 HBF를 공동 표준화해 2025년 2월부터 본격 마케팅에 들어갔습니다(출처: SK하이닉스 뉴스룸). 제 생각에는 구글, AMD, 그리고 추론 전문 LPU 칩 업체들이 주요 타깃이 되고 있는 것 같습니다.
삼성전자는 다른 길을 보여줬습니다. FMS 2026에서 발표된 zHBM이 그것인데, zHBM이란 GPU 위에 HBM을 수직으로 올려놓아 두 칩 사이의 데이터 이동 거리를 건물 밖 도로에서 엘리베이터 수준으로 줄이는 구조입니다. 아이디어 자체는 명쾌합니다. 다만 제 경험상 이건 좀 다릅니다. GPU에서 발생하는 열이 바로 위 메모리를 녹여버립니다. GPU보다는 NPU나 LPU 같은 전력 대비 높은 효율 추론 칩에 더 현실적인 구조로 보입니다. 최근 카이스트에서는 이를 뒤집어, HBM 위에 GPU를 올리되 GPU를 맨 위에 두어 냉각 팬이 직접 식힐 수 있는 T-HBM 구조를 연구하고 있습니다. 오늘 처음 외부에 언급하는 내용입니다.
엔비디아는 HBF 표준에 선뜻 합류하지 않는 쪽으로 보입니다. SK하이닉스와 삼성전자 의존도가 더 커지는 구조를 피하고 싶은 것일 겁니다. 대신 젠슨 황이 광통신을 계속 강조하는 이유가 있습니다. eSSD 형태의 외장 스토리지를 광섬유로 연결해 GPU 외부에서 수백 테라바이트 규모의 데이터를 당겨 쓰는 방식인데, 이것이 최근 낸드 판매량이 샌디스크·키옥시아·삼성전자 전반에서 증가하는 이유 중 하나입니다. 메모리를 GPU의 부속품이 아닌 시스템의 중심으로 보는 메모리 센트릭 컴퓨팅(Memory-Centric Computing)으로의 전환이 조용히 진행 중입니다.
자주 묻는 질문
Q. HBM이랑 일반 D램은 뭐가 다른 건가요?
A. 일반 D램이 단층 건물이라면 HBM은 같은 D램 칩을 수십 층으로 쌓아 올린 고층 건물입니다. 칩 사이를 수천 개의 미세 통로(TSV)로 연결해 데이터가 오가는 차선 수를 수천 배로 늘린 것이 핵심입니다. 덕분에 GPU 옆에 바짝 붙어 훨씬 빠르게 데이터를 공급할 수 있습니다.
Q. HBF는 HBM보다 무조건 좋은 건가요?
A. 속도만 놓고 보면 HBM이 여전히 앞섭니다. HBF는 낸드 플래시 기반이라 HBM보다 느리지만 용량이 약 10배 크기 때문에, 빠른 연산보다 방대한 컨텍스트를 저장해야 하는 추론 단계에서 강점이 있습니다. 용도가 다른 도구라고 보시면 정확합니다.
Q. 피지컬 AI 로봇에도 HBM이 들어가나요?
A. 현재 초기 단계 휴머노이드는 가격·전력·발열 문제로 LPDDR 계열 메모리가 현실적입니다. 하지만 로봇이 단순 반복을 넘어 숙련공 수준의 판단을 온보드에서 처리해야 하는 시점이 오면, HBM 또는 그에 준하는 초고대역폭 메모리가 탑재될 가능성은 충분하다고 봅니다.
Q. 엔비디아는 왜 HBF 표준에 바로 합류하지 않는 건가요?
A. HBF를 채택하면 SK하이닉스와 삼성전자에 대한 메모리 의존도가 더 깊어집니다. 엔비디아 입장에서는 광통신 기반 외장 스토리지 연결로 비슷한 효과를 내면서 공급망 주도권을 유지하는 쪽이 유리하다고 판단하는 것으로 보입니다.
Q. 한국 반도체 기업이 AI 시대에 유리한 위치에 있나요?
A. 메모리 생산 기술만큼은 삼성전자와 SK하이닉스가 세계 최고 수준입니다. AI 인프라의 핵심이 메모리와 전력으로 집중되는 구조에서, 여기에 자체 모델과 서비스 수익 모델까지 더하면 미국·중국과 어깨를 나란히 하는 풀스택 AI 강국이 될 가능성이 있다고 생각합니다.
결론
AI 반도체의 혁신이 GPU에서 메모리로 넘어왔다는 것, 저는 이 흐름이 일시적 유행이 아니라 구조적 전환이라고 봅니다. 오픈AI가 매출 100만 원을 벌면 70만 원이 인프라 비용으로 빠져나간다는 현실이 이를 증명합니다. 결국 AI는 자본과 메모리의 싸움으로 수렴하고 있고, 그 싸움에서 HBM을 직접 만드는 나라가 유리한 위치에 있습니다. 저는 현재 중국이 자체적으로 기술 개발과 생산 능력을 확대하며 추격해 오고 있는 것처럼 AI팩토리에 들어가는 메모리 전체를 우리만의 가장 값싸고 고성능으로 대량생산할 수 있는 체제를 만들면 세계 어느 나라든 우리와 협력할 수밖에 없는 지위가 될 것이라고 생각합니다. 거기에 더해 우리 자체 모델을 개발하고 그 모델을 기반으로 TV나 휴대폰, 자동차 등 디바이스 속 AI까지 사업화 한다면 풀스택을 갖고 는 강국이 되지 않을까 생각됩니다.
지금 당장은 HBM인지 HBF인지, zHBM인지 T-HBM인지가 중요하게 보일 수 있습니다. 하지만 제 생각에 더 본질적인 질문은 메모리를 시스템의 중심에 놓는 메모리 센트릭 컴퓨팅 구조로 얼마나 빨리 전환하느냐입니다. 인공지능과 빅데이터 시대에 발맞춰 시스템의 중심축이 연산중심(CPU, GPU)에서 벗어나 방대한 데이터를 얼마나 빨리 저장하고 빠르게 꺼내 쓰고 처리하는지가 핵심기술이라고 생각합니다. 어떤 AI 서비스를 쓰든, AI추론과 거대 언어 모델(LLM)확대로 그 뒤에서 가장 빠르게 진화하고 있는 것은 기억하는 능력이라는 점을 기억해 두시면 앞으로의 흐름을 읽는 데 도움이 될 것입니다.