SBS Biz

미국 인공지능(AI) 기업 앤트로픽의 다리오 아모데이 최고경영자(CEO)가 AI의 오용 가능성을 경고하면서 안전장치 마련을 위해 모델 개발 속도를 늦춰야 한다고 촉구했습니다.



아모데이 CEO는 12일(현지시간) 자신의 블로그에 올린 글에서 "AI 모델의 성능 향상 속도를 늦춰야 한다"며 "발전은 여전히 빠르게 느껴지겠지만, 확보된 시간을 현명하게 활용해야 한다"고 주장했습니다.

그는 "지난 몇 달간 저는 위험을 완전히 해결하려면 훨씬 더 신중해야 한다는 확신을 갖게 됐다"며 "단순히 위험 예방에 투자하는 것뿐만 아니라, 위험 예방이 (AI 모델 성능 향상 속도를) 따라잡을 수 있도록 역량 발전 속도를 조절해야 한다"고 강조했습니다.

아모데이 CEO는 이날 글을 쓰게 된 계기로 두 가지를 꼽았는데, 하나는 인간의 개입 없이도 AI 모델이 스스로 발전할 수 있는 '재귀적 자기개선'으로, 그는 이로 인해 AI의 발전 속도가 인간의 이해 및 통제 능력을 압도할 수 있다고 경고했습니다.

다른 하나는 지난 7월 오픈AI의 미공개 AI 모델들이 테스트 중 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건입니다.



그는 최대 AI 기업들도 모르는 사이에 AI 모델들이 통제를 벗어나 위험한 온라인 활동에 관여해왔다고 지적했지만 아모데이 CEO는 모델 학습이나 기술적 진보 자체를 중단하자는 것은 아니라고 선을 그었습니다.

대신 기업들이 모델을 정렬하고 안전장치를 마련하는 데 충분한 시간을 가져야 하며, 민주주의 국가 간 글로벌 공조를 강화해야 한다고 강조했습니다.

이를 위한 구체적인 대책으로 그는 AI 기업 내부에 상주하는 제3자 안전 평가자(외부 검토자) 배치, 민주주의 국가 간 표준 수립, 글로벌 공조 등을 담은 '3단계 프레임 워크'를 제안했습니다.

아모데이 CEO는 AI 기업들이 미 의회의 규제 입법에 앞서 자발적으로 협력해 엄격한 기준을 마련해야 한다고 거듭 촉구했습니다.

3천800단어에 달하는 장문의 이번 글은 앤트로픽이 AI 기술 안전성 우려를 담은 위협정보 보고서를 발표한 지 이틀 후에 나왔는데, 보고서는 무기 개발, 사이버 작전, 감시, 사기 행위 등에 앤트로픽의 '클로드' 모델이 어떻게 악용됐는지를 자세히 다뤘습니다.

여기에 최근 앤트로픽 연구원 제이콥 콕슨이 엑스(X·옛 트위터)에 AI가 10년 안에 인류를 파멸시킬 수 있다고 경고하며 퇴사하는 등, 업계 안팎에서 AI의 잠재적 위험에 대한 경각심이 고조된 상태입니다.

아모데이 CEO의 글이 올라온 이후 AI 업계의 다른 인사들도 동의한다는 뜻을 밝혔습니다.

샘 올트먼 오픈AI CEO는 X에 "다리오의 의견에 동의한다"며 외부 안전 평가자를 배치하자는 아모데이 CEO의 방침을 오픈AI도 따르겠다는 뜻을 밝혔고, xAI의 일론 머스크도 "다리오가 맞다"며 동조했습니다.