SBS Biz

[김성훈 대표 공개 검증(유튜브 캡처=연합뉴스)]

국가대표 인공지능(AI)(독자 AI 파운데이션 모델) 정예팀 중 한 곳인 업스테이지가 중국 모델을 도용했다는 논란이 일자 즉각 사실이 아니라고 반박했습니다.

오늘(2일) 김성훈 업스테이지 대표는 "솔라 오픈이 중국 모델을 복사해 미세 조장한 결과물이라는 주장은 사실과 다르다"라며 "프롬 스크래치 방식으로 학습됐다"고 해명했습니다. 프롬 스크래치는 AI 모델 맨 첫 단계부터 모두 직접 구축하는 방식을 말합니다.

그는 이어 솔라 오픈 학습에 사용한 체크포인트와 WandB(실험 기록)를 공개하면서 모델 개발 과정 공개 검증을 진행했습니다. 

김 대표는 공개 검증에서 "프롬스크래치 여부를 판단할 수 있는 여부는 로스인데 로스(Loss)가 높다는 건 처음에 학습이 안 됐다는 것을 의미한다"라며 "솔라 오픈은 초기 높은 로스로부터 학습됐다"라고 말했습니다. 이어 "MMLU는 AI 모델의 성능을 나타내는 지표인데 초기 낮은 수치에서 출발해서 학습이 진행될수록 성능이 올라갔다"라고 강조했습니다.

앞서 고석현 사이오닉AI 최고경영자(CEO)는 어제(1일) 소셜미디어(SNS)에 업스테이지의 AI 모델 '솔라 오픈'이 중국 기업 지푸AI의 'GLM-4.5-에어'에서 파생됐다는 게시글을 올린 바 있습니다. 고 대표는 해당 게시글에서 "국민 세금이 투입된 프로젝트에서 중국 모델을 복사해 미세 조정한 결과물로 추정되는 모델이 제출된 건 상당히 큰 유감이다"라고 밝혔습니다.

그는 솔라 오픈과 GLM-4.5-에어의 가중치 구조를 분석한 보고서를 게재한 뒤 두 모델을 구성하는 매개변수(파라미터) 중 일부 레이어에서 결정적인 유사도를 발견했습니다. 고 대표는 이후 다른 게시글에서 "비교 대상 두 모델의 토큰 임베딩이 사실상 동일한 분포를 가지고 있다고 확인했다"면서도 "이 역시 GLM-4.5-에어와 솔라 오픈이 모델 구조와 학습코드가 거의 동일하기 때문에 동일한 분포를 가진 것으로 판단한다"라고 말했습니다.

이어 "솔라 오픈이 GLM-4.5-에어 모델의 학습코드 대부분을 그대로 가져와서 사용한 건 사실로 판단된다"라며 "물론 AI 연구과정에서 이러한 접근 자체가 드문 일은 아니지만 이런 경우라면 처음부터 출처를 공개하는 게 보통이다"라고 썼습니다.

레이어의 연결고리를 뜻하는 레이어놈(LayerNorm)이 GLM-4.5-에어의 레이어가 유사하다는 주장에 대해 김 대표는 "솔라, GLM, 파이(Pi)의 유사도를 측정했을 때도 높은 값이 나온다"라며 "(사이오닉 AI가 제시한 지표가 아닌) 다른 지표로 보면 솔라와 GLM-4.5-에어는 유사성이 낮다"라고 반박했습니다.

또 모델 구조가 유사하다는 주장에 대해서는 "대형언어모델(LLM) 서빙 툴과 생태계 호환성을 확보하려면 구조가 어느 정도 비슷해질 수밖에 없다"라며 "사용성과 호환성을 고려한 설계와 LLM 오픈소스 생태계 교류의 결과"라고 주장했습니다. 또 "솔라는 밀집 레이어가 없고 GLM은 덴스 레이어가 있어 모델 구조가 다르다"라고 부연했다.

김 대표는 "솔라 오픈은 레이어놈을 포함해 모델 전체가 새로운 모델이다"라며 "솔라 오픈은 다른 모델의 파생이 아닌 프롬 스크래치로 만든 모델이다"라며 재차 강조했습니다.