SBS Biz

카카오가 스마트폰과 개인용 컴퓨터에서 구동할 수 있는 자체 경량 언어모델(SLM) 4종을 오픈소스로 공개했습니다. 대규모 언어모델 중심의 경쟁에서 벗어나 온디바이스 AI 시장까지 기술 영역을 넓히려는 행보입니다.

카카오는 오늘(28일) 글로벌 AI 플랫폼 허깅페이스에 '카나나-2' 경량 언어모델 시리즈를 공개했다고 밝혔습니다.

공개 모델은 ▲Kanana-2-1.3B-base ▲Kanana-2-1.3B-instruct ▲Kanana-2-3B-base ▲Kanana-2-3B-instruct 등 4종입니다. 스마트폰처럼 메모리와 연산 자원이 제한된 기기에서도 작동할 수 있도록 설계됐습니다.

최근 AI 업계에서는 대형 모델의 성능 경쟁과 함께 기기 자체에서 AI를 구동하는 온디바이스 기술이 중요해지고 있습니다. 클라우드 서버를 거치지 않아 응답 속도가 빠르고 개인정보 보호와 비용 절감 측면에서도 장점이 있기 때문입니다.

카카오는 그동안 실제 서비스에 활용할 수 있는 수준의 경량 모델을 개발해왔습니다. 현재 '카나나 인 카카오톡'과 카카오톡 대화·통화 요약, AI 국민비서 등에 자체 경량 모델을 적용하고 있습니다.

이번 모델은 한국어와 영어, 지식, 수학, 코드 등 주요 평가 항목에서 비슷한 크기의 최신 오픈소스 모델보다 높은 성능을 기록했다고 카카오는 설명했습니다.

특히 1.3B 인스트럭트 모델과 별도로 개발한 0.9B 인스트럭트 모델은 대화와 지식, 코드, 수학, 지시 이행, 툴 호출 등 실제 서비스 활용 영역에서 중국 알리바바의 큐원과 구글의 젬마 등 동급 모델과 경쟁 가능한 성능을 보였다고 밝혔습니다.

한국어 처리 효율을 높이기 위해 자체 개발한 한국어 특화 토크나이저도 적용했습니다. 토크나이저는 문장을 AI가 처리할 수 있는 단위로 나누는 기술입니다. 한국어에 최적화할수록 같은 문장을 더 적은 단위로 처리할 수 있어 연산량과 비용을 줄일 수 있습니다.

카카오는 자체 토크나이저를 적용해 기존 모델보다 한국어 처리 효율을 30% 이상 높였다고 설명했습니다.

긴 대화를 처리할 때 메모리 사용량이 급격히 늘어나는 문제를 줄이기 위해 '슬라이딩 윈도우 어텐션' 구조도 도입했습니다. 이를 통해 최대 3만2천 토큰, 약 2만4천 단어 분량의 대화를 처리하면서 메모리 사용량을 최대 72.7% 줄일 수 있다고 밝혔습니다.

카카오는 공개 모델을 상업적으로도 활용할 수 있는 '카나나 오픈 라이선스'로 배포합니다. 개발자와 스타트업, 연구기관 등은 별도의 사용료 없이 모델을 활용해 서비스를 개발할 수 있습니다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "클라우드 기반 대규모 AI와 온디바이스 경량 AI 모두 중요성이 커지고 있다"며 "이번 모델 공개가 국내 개발자와 기업의 AI 서비스 개발 확대로 이어지길 기대한다"고 말했습니다.