[아이뉴스24 최효경 기자] 주영표 SK하이닉스 시스템아키텍처 담당 부사장은 25일"에이전트 AI 시대의 폭증하는 데이터를 처리하기 위해서는 기존 고대역폭메모리(HBM) 고도화를 넘어, 메모리를 GPU 위에 쌓는 '3D 적층' 기술이 필요하다"고 말했다.
주 부사장은 이날 서울 강남구 코엑스에서 열린 '델 테크놀로지스 포럼 2026' 기조연설에서 '보이지 않는 엔진: AI 시대를 완성하는 기술'을 주제로 발표하며 차세대 메모리 기술의 발전 방향을 이같이 밝혔다.
"에이전트 AI 시대, 반복 추론으로 데이터 처리량 급증"
대규모언어모델(LLM)도 가중치를 저장하고 불러오는 데 막대한 메모리를 사용한다. 하지만 에이전트 AI는 여러 AI 에이전트가 역할을 나눠 반복적으로 추론하고 정보를 주고받기 때문에 메모리가 처리해야 할 데이터가 더욱 빠르게 늘어난다. 주 부사장이 기존 HBM의 성능을 계속 높이는 방식만으로는 향후 수요를 따라잡기 어렵다고 본 이유다.
주 부사장은 GPT-4급 전문가혼합(MoE) 모델 가정 사례를 소개했다. 이 모델은 가중치를 저장하는 데만 3.5테라바이트(TB)의 메모리가 필요하다. 초당 20개의 토큰을 생성하려면 메모리에서 초당 4.4TB의 데이터를 읽어야 한다.
주 부사장은 "에이전트 AI 시대에는 필요한 메모리 성능이 한층 높아진다"고 말했다. AI가 여러 차례 추론을 반복하면 앞선 대화를 기억하기 위한 컨텍스트와 KV캐시 등 메모리에 저장하고 다시 불러와야 할 데이터가 계속 늘어난다. 여러 AI 에이전트가 역할을 나눠 코드를 생성하고 컴파일과 검증을 반복하는 코딩 에이전트의 경우 초당 수백 개에서 수천 개 수준의 토큰 처리가 요구될 수 있다는 설명이다.
주 부사장은 "AI 시스템에서는 메모리가 얼마나 많은 대역폭을 공급하는지가 전체 시스템의 성능을 결정한다"고 말했다. GPU의 연산 성능만 높여서는 전체 AI 시스템의 성능을 같은 비율로 끌어올리기 어렵다는 의미다. 디코드와 어텐션 등 AI의 주요 연산은 메모리에서 데이터를 얼마나 빠르게 가져오는 지에 따라 처리 속도가 제한되기 때문이다.
SK하이닉스는 HBM1부터 HBM4까지 약 10년간 GPU 성능 향상에 맞춰 메모리 대역폭을 높여왔다. 하지만 에이전트 AI 확산으로 처리해야 할 데이터가 급증하면서 HBM을 고도화하는 방식만으로는 향후 수요를 감당하기 어렵다고 내다봤다.
주 부사장은 "HBM을 지금처럼 고도화하면, 앞으로도 계속해서 충분한 성능을 공급할 수 있느냐고 묻는다면 불행히도 그렇지는 않을 것"이라고 말했다.
"미래 메모리는 '3D 적층'⋯발열은 공동 해결 과제"
주 부사장은 "대역폭을 면적에 비례해 증가시킬 수 있는 거의 유일한 답은 메모리를 쌓는 것"이라고 강조했다.
현재 HBM은 여러 개의 D램을 수직으로 쌓은 뒤 GPU 옆에 배치하는 구조다. GPU 성능이 높아질수록 더 많은 메모리 대역폭이 필요하지만, GPU 주변의 물리적인 공간은 제한돼 있어 HBM을 나란히 배치하는 방식만으로는 대역폭을 계속 확대하기 어렵다.
SK하이닉스는 이러한 공간적 한계를 넘기 위해 GPU나 로직 다이 위에 메모리를 직접 쌓는 3D 통합 구조를 준비하고 있다. 하이브리드 본딩으로 로직과 메모리를 수직 연결하면 양쪽을 잇는 채널을 크게 늘려 제한된 면적에서도 대역폭을 높일 수 있다.
다만 로직에서 발생하는 열이 바로 위에 쌓인 메모리에 직접 영향을 미치는 문제가 뒤따른다. 적층하는 메모리 수가 늘어날수록 열을 외부로 배출하기도 어려워진다.
그는 "세상에서 가장 뜨거운 칩 중 하나인 GPU 위에 메모리를 얹는 것이기 때문에 쉽지 않다"며 "메모리와 로직, GPU 개발사뿐 아니라 서버·인프라 기업도 냉각과 시스템 설계 단계부터 함께 해법을 마련해야 한다"고 강조했다.
주 부사장은 "SK하이닉스는 풀스택 메모리 크리에이터를 지향하고 있지만 이를 혼자 할 수 있다고 생각하지 않는다"며 "제품 연구개발 단계부터 고객과 함께 준비하고 생태계를 만들어 나갈 것"이라고 말했다. 이어 델 테크놀로지스와 장기적인 전략적 파트너십을 바탕으로 연구개발부터 사업까지 협력을 확대하겠다고 밝혔다.
/최효경 기자(hyomirror@inews24.com)