[아이뉴스24 권서아 기자] 삼성전자와 SK하이닉스가 차세대 인공지능(AI) 메모리 기술 경쟁에 속도를 내고 있다. 삼성전자는 메모리가 연산 일부를 직접 처리하는 '메모리 내 연산(PIM)'을, SK하이닉스는 고대역폭 메모리(HBM) 내부의 열을 빼내는 'iHBM(ICE-HBM)'을 앞세웠다.
AI 모델이 고도화되면서 메모리에는 더 많은 데이터를 빠르게 처리하면서도 전력 소모와 발열을 낮춰야 한다는 과제가 주어지고 있다. 양사는 서로 다른 방식으로 이 문제를 해결하며 차세대 AI 메모리 시장을 겨냥하고 있다.
양사는 지난 23~25일(현지시간) 미국 스탠퍼드대에서 열린 '핫칩스 2026'에서 이 같은 기술을 공개했다.
삼성, 세계 첫 LPDDR5X-PIM…메모리가 직접 연산
삼성전자는 세계 최초로 개발한 '저전력 D램(LPDDR)5X-PIM'의 구조와 AI 추론 성능을 공개했다. PIM은 데이터를 저장하던 메모리에 연산 기능까지 넣은 기술이다.
기존에는 메모리에 있는 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 보내 계산한 뒤 다시 메모리로 가져와야 한다. 이 과정에서 데이터가 계속 오가면서 처리 시간이 늘고 전력 소모도 커진다.
PIM은 이 가운데 비교적 단순한 연산을 메모리 내부에서 직접 처리한다. CPU나 GPU로 데이터를 보내는 과정을 줄여 데이터 이동에 드는 시간과 전력 소모를 낮추는 것이 핵심이다.
특히 스마트폰·PC처럼 기기 안에서 AI가 작동하는 '기기내장형(온디바이스) AI'와 추론 작업에 적합하다. 삼성전자가 AI 모델을 이용해 시험한 결과 LPDDR5X-PIM은 기존 LPDDR5X보다 데이터 처리 속도가 약 2배 빨라지고 초당 토큰(AI의 최소 문장 처리 단위) 처리량은 약 3배 늘었다.
AI 시장이 대규모 모델을 만드는 '학습'에서 실제 서비스를 제공하는 '추론'으로 넓어지면서 삼성전자는 HBM뿐 아니라 저전력 메모리에도 연산 기능을 넣는 전략을 확대하고 있다.
SK하이닉스, HBM 안에 'ICE'…뜨거운 곳 바로 식혀
SK하이닉스의 과제는 HBM을 더 높이 쌓을수록 심해지는 발열이다. HBM은 여러 장의 D램을 수직으로 쌓아 용량과 데이터 처리 속도를 높이는데, 16단을 넘어 20단 이상으로 높아질수록 내부 열을 밖으로 빼내기가 어려워진다.
해법 중 하나가 SK하이닉스가 지난 5월 처음 공개한 'iHBM'이다. HBM 내부에서 열이 집중되는 곳에 '일체형 냉각 요소(ICE)'를 넣어 열이 빠져나갈 별도의 통로를 만드는 방식이다.
ICE는 전기는 통하지 않으면서 열은 잘 전달하는 소재를 활용한다. 칩 전체를 식히는 대신 열이 몰리는 지점을 직접 식히는 셈이다. SK하이닉스는 이를 통해 HBM의 열저항을 기존보다 30% 이상 낮출 수 있다고 설명했다.
HBM을 더 촘촘하게 쌓기 위한 '하이브리드 본딩(Hybrid Bonding)'도 제시했다. 기존처럼 칩 사이에 범프(미세한 돌기)를 두는 대신 구리(Cu) 배선과 절연층을 직접 붙여 칩 사이 간격을 줄이는 기술이다.
칩 사이가 가까워지면 같은 높이 안에 더 많은 D램을 쌓을 수 있고 신호 이동 거리도 줄어든다. SK하이닉스는 이를 16단을 넘어 20단 이상 초고층 HBM을 구현하기 위한 핵심 기술로 보고 있다.
결국 차세대 HBM 경쟁의 핵심은 단순히 메모리 용량을 늘리는 데 그치지 않는다. 더 높게 쌓으면서도 빠르게 데이터를 주고받고, 발생하는 열을 안정적으로 제어하는 패키징 기술까지 확보해야 한다.
삼성전자가 메모리 자체에 연산 기능을 넣어 데이터 이동을 줄이는 방향에 집중한다면, SK하이닉스는 HBM을 더 높게 쌓으면서도 안정적으로 작동하도록 패키징·본딩·열관리 기술을 고도화하는 방향에 무게를 두고 있다.
AI 가속기의 성능이 높아질수록 메모리 역시 더 많은 데이터를 더 빠르게 처리하면서 전력과 발열을 동시에 관리해야 하는 만큼, 양사의 기술 경쟁도 메모리 성능을 넘어 '연산 효율'과 '패키징 기술'을 둘러싼 경쟁으로 확대될 전망이다.
/권서아 기자(seoahkwon@inews24.com)