SBS Biz

정부가 국가대표 인공지능(AI)을 선발하는 '독자 AI 파운데이션 모델'(독파모) 2차 평가를 둘러싼 논란이 이어지자 결국 참여 기업들의 세부 점수를 모두 공개했습니다. 모티프는 아티피셜 애널리시스 지능지수(AAII)에서 최고점을 받았지만, 한국지능정보사회진흥원(NIA) 기준 벤치마크는 가장 낮은 점수를 받았습니다.

과학기술정보통신부는 오늘(27일) 독파모 2차 단계 평가의 기업별 세부 점수를 공개했습니다. 그동안 기업에 미칠 '낙인 효과' 등을 고려해 항목별 최고점 정도만 공개했지만, 모티프의 이의 제기와 다른 정예팀들의 동의에 따라 전체 점수를 공개한 것입니다.

2차 평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점 만점으로 진행됐습니다.

최종 점수는 SK텔레콤이 70.6점으로 가장 높았습니다. 업스테이지가 69.9점으로 뒤를 이었고 LG AI연구원 69점, 모티프 65.8점 순이었습니다.

세부 항목별로는 평가 결과가 엇갈렸습니다. 글로벌 AI 모델 성능 평가 지표인 AAII(Artificial Analysis Intelligence Index)에서는 모티프가 11.9점을 받아 1위를 차지했습니다. 업스테이지가 9.4점, SK텔레콤 8.8점, LG AI연구원 7.8점이었습니다.

반면 한국지능정보사회진흥원(NIA)이 진행한 자체 벤치마크에서는 SK텔레콤이 13.4점으로 가장 높았습니다. 업스테이지 13.3점, LG AI연구원 12.8점, 모티프 12.7점 순이었습니다.

글로벌 벤치마크에서 가장 앞섰던 모티프가 국내 자체 벤치마크에서는 가장 낮은 점수를 받은 셈입니다.

전문가 평가에서도 모티프의 점수는 상대적으로 낮았습니다. LG AI연구원이 29.5점으로 1위를 기록했고 SK텔레콤 29.3점, 업스테이지 29.1점, 모티프 27.1점으로 집계됐습니다.

실제 활용성을 평가한 사용자 평가에서는 격차가 더 벌어졌습니다.

AI 스타트업 대표 49명이 참여한 전문 사용자 평가에서 SK텔레콤이 11.6점으로 가장 높은 점수를 받았습니다. LG AI연구원은 11.3점, 업스테이지 10.8점이었고 모티프는 8.4점에 그쳤습니다.

일반 국민 185명이 참여한 평가에서도 LG AI연구원이 7.6점으로 1위를 기록했고 SK텔레콤 7.5점, 업스테이지 7.3점, 모티프 5.7점 순이었습니다.

결국 모티프는 글로벌 벤치마크에서는 1위를 차지했지만 전문가 평가와 사용자 평가에서 상대적으로 낮은 점수를 받으면서 최종 순위가 4위로 밀렸습니다.

앞서 정부는 독파모 2차 평가를 둘러싼 투명성 논란이 커지자 지난 20일 일부 세부 지표를 추가 공개했습니다. 당시에는 1차 평가와 마찬가지로 평가 항목별 1위 기업과 점수만 공개했지만 논란이 이어지면서 일주일 만에 전체 기업의 점수를 공개하게 됐습니다.

모티프는 이날 과기정통부에 2차 평가 결과에 대한 이의신청도 제기했습니다. 글로벌 벤치마크에서 가장 높은 성적을 거두고도 탈락한 배경을 구체적으로 설명해달라며 상세 점수 공개와 재심의를 요구했습니다.

다만 재심의 결과와 관계없이 향후 3차 평가에는 참여하지 않겠다는 입장입니다.

과기정통부는 모티프의 이의신청을 관련 절차에 따라 처리하고 15일 이내 최종 결정을 내릴 예정입니다.

과기정통부는 "평가 결과 공개에 따른 기업의 직·간접적 피해와 평가 과정·결과의 공정성 및 투명성을 함께 고려해 공개 범위를 신중하게 결정해 왔다"며 "모티프가 세부 평가 결과 공개를 요청하고 다른 정예팀들도 동의함에 따라 상세 점수를 공개했다"고 설명했습니다.