SBS Biz

[오픈AI (로이터=연합뉴스 자료사진)]

챗GPT 개발사 오픈AI가 최근 불거진 '불량 에이전트' 보안 사고 여파로 자발적인 개발 속도 조절에 들어갔습니다.



오픈AI는 AI 확장 속도를 일시적으로 늦추고 감시와 모델 행동정렬, 격리보호 등 조치를 강화하고 있다고 현지시간 18일 밝혔습니다.

이는 최근 자사 모델이 격리 환경을 임의로 벗어나 외부 기관을 해킹하고, 출시 예정 모델인 '아스트라'도 자체 안전 기준상 '위험'(Critical) 단계에 해당할 가능성이 큰 것으로 평가된 데 따른 것입니다.

오픈AI는 우선 배포용 최신 모델의 강화학습 과정을 2주 동안 일시 중단하고, 이 기간에 모델의 안전장치와 정합성 등을 평가하기 위한 소규모 훈련을 수행하고 있습니다.

또 감시 시스템의 적용 범위를 확대하고, 보안 관련 모의훈련을 하는 레드팀 테스트를 시행합니다.



특히 모델이 격리 환경을 자의적으로 이탈할 수 없게끔 격리 수준을 끌어올리고, 설령 지원 서비스가 해킹되는 등 사고가 발생하더라도 인터넷망이나 개발 내부망으로 침투할 수 없도록 망 분리 환경도 구축했습니다.

또 AI의 추론 과정을 하나하나 감시하는 '생각의 연쇄(chain-of--thought) 감시' 시스템도 도입했습니다.

AI가 추론을 위해 토큰을 생성하는 시점을 매번 들여다보고, 만약 이상 징후가 감지되면 보다 정교한 자동 조사 시스템을 가동해 무단 데이터 유출이나 우회 시도를 찾아내는 방식입니다.

의심 행위가 식별되면 30분 이내에 경보가 울리는데, 담당 팀이 이 경보가 오탐이라는 사실을 30분 내에 규명하지 못하면 해당 AI 개발 작업을 중단하는 강력한 조치도 마련했습니다.

오픈AI는 이와 같은 감시 공정을 도입하면 전체 추론 연산 용량의 약 20%에 달하는 추가 연산자원이 소모될 것으로 보고 있습니다.

오픈AI는 "모델 성능이 향상됨에 따라 이를 개발하고 시험하는 데 따르는 위험도 커지고 있다"며 "감시와 정렬, 보안에 대한 우리의 표준은 위험보다 앞서나가야 한다"고 강조했습니다.

오픈AI가 이처럼 자발적으로 AI 모델 연구의 속도 조절에 나서는 것은 최근 GPT 모델들의 '허깅 페이스' 해킹 사건 등으로 보다 강력한 규제가 마련될 가능성이 크기 때문입니다.

여기에 기업공개(IPO)를 준비하는 오픈AI로서는 대외 안전성 관련 의구심을 불식시킬 필요도 있는 상황입니다.

오픈AI는 이번 사태와 연구 결과를 바탕으로 기술 보고서를 발행할 예정입니다.