SBS Biz

[LPDDR5X-PIM과 기존 제품의 AI 연산 성능 비교 (사진=연합뉴스)]

삼성전자가 스마트폰과 PC 등에 쓰이는 저전력 D램에 인공지능(AI) 연산 기능을 결합한 차세대 메모리 설루션을 공개했습니다. 데이터를 프로세서로 옮기지 않고 메모리 내부에서 일부 연산을 직접 처리해 온디바이스 AI의 속도와 전력 효율을 높이는 방식입니다.



오늘(26일) 전자 업계에 따르면 황가람 삼성전자 책임은 미국 스탠퍼드대에서 열린 반도체 학술대회 '핫칩스 2026'에서 LPDDR 기반 메모리 내 연산(PIM) 제품인 'LPDDR5X-PIM'의 아키텍처와 성능 검증 결과를 공개했습니다.

LPDDR5X-PIM은 이달 초 열린 메모리 콘퍼런스 'FMS 2026'에서 '차세대 메모리상'을 수상한 제품으로, 구체적인 구조와 성능이 공개된 것은 이번이 처음입니다.

PIM은 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 옮겨 계산한 뒤 다시 메모리에 저장하는 기존 방식과 달리 메모리 안에서 일부 연산을 직접 처리하는 기술입니다. 프로세서와 메모리 사이의 데이터 이동을 줄여 병목 현상과 전력 소모를 줄일 수 있습니다.

데이터센터에서는 GPU 주변에 고대역폭메모리(HBM)를 배치하는 방식이 주로 활용되지만, 스마트폰과 PC 등 모든 AI 기기에 HBM을 적용하기에는 가격과 전력 소비 등의 부담이 있습니다.



삼성전자가 PIM을 저전력 메모리인 LPDDR에 적용한 것도 이 때문입니다. 최근 대형언어모델(LLM)을 소형화해 스마트폰과 PC, 엣지 서버 등에서 직접 구동하려는 움직임이 확대되고 있습니다.

LPDDR5X-PIM은 하나의 D램 다이에 있는 16개 메모리 뱅크마다 PIM 연산기를 배치했습니다. AI에서 반복적으로 활용되는 곱셈·덧셈 연산을 메모리 내부에서 처리하고, 복잡한 연산은 CPU나 GPU가 맡는 구조입니다.

삼성전자는 2021년 HBM에 PIM 기술을 결합한 'HBM-PIM'을 공개한 바 있습니다. 이번 LPDDR5X-PIM에서는 기존 메모리 용량을 유지하면서 16개 뱅크 모두에 연산 기능을 넣었습니다.

성능 개선 효과도 확인됐습니다. 삼성전자가 자체 엣지 AI 가속기에서 메타의 '라마 3.1 8B' 모델을 구동한 결과 기존 LPDDR5X에서는 처리에 12.3초가 걸렸지만 LPDDR5X-PIM에서는 5.4초로 단축됐습니다. 약 2.3배 빠른 수준입니다.

초당 토큰 처리량(TPS)은 기존 27TPS에서 81.3TPS로 약 3배 늘었고, 메모리 내부 연산에 활용할 수 있는 대역폭도 기존 LPDDR5X 대비 최대 8배 수준입니다.

기존 시스템과의 호환성도 높였습니다. 삼성전자는 '주소 할당 모드(AAM·Address Alignment Mode)'를 적용해 기존 LPDDR5X의 읽기·쓰기 명령 체계를 PIM 연산에도 활용할 수 있도록 했습니다.

황 책임은 기존 561볼 LPDDR5X 패키지를 사용하는 시스템이라면 LPDDR5X-PIM으로 직접 교체할 수 있다고 설명했습니다. 시스템 전체를 다시 설계해야 하는 부담을 줄였다는 의미입니다.

황 책임은 "AI를 지원하는 표준 메모리 설루션은 HBM이지만 최근 LLM이 소형화·효율화하면서 HBM이 항상 최선의 해결책은 아닐 수 있다"며 "높은 대역폭과 낮은 전력 소모를 동시에 갖춘 LP-PIM을 개발하게 됐다"고 설명했습니다.

삼성전자는 현재 소프트웨어개발키트(SDK)와 시뮬레이터 등을 제공하며 관련 생태계를 구축하고 있으며, 차세대 'LPDDR6-PIM'의 표준화 작업도 시작했습니다.