SBS Biz

중국 대표 검색기업 바이두가 미국 검색 업체 구글이 자사 콘텐츠를 수집하는 것을 막은 것으로 보인다고 홍콩 사우스차이나모닝포스트(SCMP)가 24일 보도했습니다.

바이두 온라인 백과사전 ‘바이두 바이커’의 ‘robots.txt’ 최신 버전을 확인한 결과 구글과 마이크로소프트 빙(Bing)의 웹 크롤러가 차단된 것으로 확인됐습니다. robots.txt는 웹 크롤러에 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 규약입니다.

인터넷 아카이브 서비스인 웨이백 머신에 따르면 차단 시기는 지난 8일 쯤으로 보입니다.

바이두의 이번 조치는 AI 모델 훈련을 위한 방대한 데이터에 대한 수요가 급증하는 가운데 온라인 자산을 보호하려는 것으로 보입니다.

이와 관련해 미국 온라인 커뮤니티 기업 레딧은 지난달 구글을 제외한 다른 검색 엔진이 자사 사이트 게시물을 색인화하는 것을 차단했습니다. 앞서 구글은 자사 AI 모델을 훈련하기 위해 레딧과 수백만 달러 규모 계약을 체결했습니다.