SBS Biz

BC카드는 오늘(19일) AI 모델 크기를 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발해 실제 모델에 적용했다고 밝혔습니다.

AI 모델이 사용하는 숫자를 단순하게 만들어 가볍게 만드는 '양자화' 기술이 적용됐다는 게 BC카드 측 설명입니다. 



이를 통해 310억개 파라미터를 가진 AI모델은 용량이 62.5GB에서 19.5GB로 69% 감소했고, 동일한 GPU 환경에서의 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 3배 가까이 증가했다고 BC카드는 강조했습니다. 평균 응답 완료 시간도 24초에서 9초로 단축됐습니다.

AI 성능은 대부분 유지됐다는 게 회사 측 설명입니다. BC카드가 원본 모델과 경량화된 모델을 대상으로 한국어 이해 및 추론 능력 등 8종류의 성능 평가를 진행한 결과 원본 대비 98.7% 수준의 성능을 유지했습니다.

BC카드는 이번 과정에서 확보한 기술의 특허 출원 절차를 진행하는 한편, 실제 사내 AI 플랫폼인 'BCGPT'와 'MOAI'에 경량화 모델을 적용해 용량 감소와 업무량 증가를 실현했다고 강조했습니다.

오성수 BC카드 상무는 "이번 경량화 기술을 사내 AI 서비스에 적극 적용하고 외부에도 공개해 보다 효율적인 AI 활용 환경을 만드는 데 기여할 것"이라고 말했습니다.