SBS Biz

[ISCA 학회에서 연구 성과 소개하는 KAIST 연구팀 (KAIST 제공=연합뉴스)]

한국과학기술원(KAIST)은 전산학부 박종세 교수팀과 하이퍼엑셀(전기·전자공학부 김주영 교수 창업기업)이 챗GPT와 같은 생성형 AI에 특화된 고성능·저전력의 신경망처리장치(NPU) 핵심기술을 개발했다고 4일 밝혔습니다. 



챗GPT4나 제미나이 2.5 등 최신 생성형 AI 모델들은 메모리 용량을 많이 필요로 하기 때문에 마이크로소프트나 구글 등 생성형 AI 클라우드 운영기업들은 엔비디아의 그래픽처리장치(GPU)를 수십만장씩 구매하고 있습니다. 

NPU는 인공신경망을 이용해 AI 연산에 특화된 반도체로 GPU 대비 저전력으로도 높은 효율을 낼 수 있어 GPU를 대체할 기술로 주목받고 있습니다. 
 
연구팀은 메모리 사용의 대부분을 차지하는 'KV 캐시'(생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 임시 저장 공간)의 양자화를 통해 적은 수의 NPU 디바이스만으로 동일 수준의 AI 인프라를 구성, 생성형 AI 클라우드 구축 비용을 절감할 수 있는 기술을 개발했습니다. 


 
AI 처리 시스템은 보다 뛰어난 추론 서비스를 제공하기 위해 처리해야 하는 요청의 수와 길이가 증가하고, 이 때문에 생성형 AI 모델의 추론 과정에서 생성되는 KV캐시가 커지면서 메모리 병목으로 이어지게 됩니다. 

연구팀은 KV캐시 값 분포를 분석하고 특성화해 정확도 손실을 최소화할 수 있는 양자화 기법을 설계했습니다. 
 
박종세 교수는 "추론 정확도를 유지하면서도 메모리 요구량을 줄이는 경량화 기법과 이에 최적화된 하드웨어 설계를 결합, 최신 GPU 대비 전력은 44% 적게 쓰면서도 평균 60% 이상 성능이 향상된 NPU를 구현했다"고 말했습니다. 
 
이번 연구 성과는 지난달 21∼25일 일본 도쿄에서 열린 컴퓨터 아키텍처 분야 최고 권위 학회인 '2025 국제 컴퓨터구조 심포지엄(ISCA)'에 채택돼 소개됐습니다.