SBS Biz

[오픈AI (로이터=연합뉴스 자료사진)]

오픈AI는 자체 개발한 AI 칩 ‘할라페뇨’가 성능 테스트에서 엔비디아의 현재 제품군을 앞섰다고 밝혔습니다.

오픈AI 리처드 호 하드웨어 총괄은 현지 시각 25일 블룸버그 통신과 인터뷰에서 자체 개발한 할라페뇨가 전력 단위당 처리 가능한 AI 작업량과 응답 속도 등 두 가지 지표에서 최고 성능인 엔비디아의 ‘GB300’을 앞섰다고 밝혔습니다.

그는 연내 이 칩을 자사 AI 모델 구동에 투입할 계획이라고 밝혔습니다.

구글의 AI 칩 텐서처리장치(TPU) 프로젝트를 맡다 2023년 오픈AI로 이직한 호 총괄은 할라페뇨가 “정말 좋은 칩이다. (오픈AI의) 비용을 큰 폭으로 낮춰줄 것”이라고 말했습니다.

할라페뇨는 맞춤형 칩을 공급하는 브로드컴과 협력해 개발됐습니다.

지난해 협력을 발표한 두 회사는 지난 6월 할라페뇨를 공개하면서 이례적으로 빠른 속도로 완성됐다고 강조한 바 있습니다.

일반적으로 일부 칩은 처리 능력이, 다른 칩은 응답 속도가 강점인데 할라페뇨는 두 가지를 모두 갖췄다고 그는 설명했습니다.

어떤 AI 모델을 할라페뇨에서 구동할지는 오픈AI가 결정하며, 이를 통해 고객은 비용 절감과 성능 향상 중 원하는 쪽을 선택할 수 있습니다.

할라페뇨는 700와트라는 낮은 전력에서도 우수한 성능을 낸다는 점에서 데이터센터의 핵심 비용인 전력비 절감에도 도움이 될 것이라고 그는 덧붙였습니다.

이와 관련, IT 전문매체 세미애널리시스는 할라페뇨는 패키지당 대역폭 15.4TB/s의 HBM4 메모리를 탑재했으며, 공급업체는 삼성전자로 추정된다고 전했습니다.

오픈AI는 회사 블로그에 자사의 소형 오픈소스 모델과 함께 딥시크·문샷AI의 타사 모델로도 신형 칩을 공개 테스트했으며, 테스트한 모델 중 문샷의 ‘키미’ 모델에서 더 큰 성능 우위를 보였다고 전했습니다.

다만 할라페뇨는 이제 막 출하를 시작한 엔비디아의 차세대 칩 ‘베라 루빈’과는 비교 테스트를 거치지 않았습니다.

엔비디아가 강점을 보이는 AI 모델 훈련용으로도 설계되지 않았으며, 이미 학습을 마친 모델이 프롬프트에 응답하고 작업을 처리하는 ‘추론’ 단계에 특화됐습니다.

호 총괄은 오픈AI가 현재 상대적으로 작은 모델에 쓰는 세레브라스의 칩 기술을 당장 대체하지는 않을 것이라며 “우리는 컴퓨팅 수요가 워낙 커서 많은 공급업체와 계약을 맺은 것이고, 이런 상황은 당분간 계속될 것”이라고 말했습니다.

그러면서도 “엔비디아는 정말 좋은 파트너이며, 우리는 앞으로도 엔비디아가 많이 필요하다”고 덧붙였습니다.

호 총괄은 또 자체 AI 모델을 활용해 칩 개발 속도를 높이고 있다며 2세대 칩 버전도 이미 개발이 상당히 진척돼 설계 최종 단계인 ‘테이프아웃’을 앞으로 몇 달 안에 마칠 것으로 예상된다고 전했습니다.

오픈AI는 AI 인프라 비용을 낮추기 위해 3세대 칩의 개념 설계에도 착수했습니다.