아마존, AI 학습데이터 확보 위해 희귀 서적 수집하고 파괴

아마존 학습데이터 확보 데이터 고갈 디지털 데이터 스캔 방식

온라인 서점으로 출발한 아마존이 AI 모델 학습에 활용할 데이터를 확보하기 위해 희귀 서적을 대량으로 사들인 뒤 제본을 뜯고 스캔하고 있다는 정황이 포착됐다. 인

아마존, 희귀 서적 수집으로 AI 학습 데이터 확보 나서

최근 아마존이 AI 모델 학습에 필요한 데이터를 확보하기 위해 희귀 서적을 사들이고 이를 스캔해 파괴하는 정황이 포착되면서 업계의 이목을 집중시키고 있다. 과거 온라인 서점으로 시작했던 아마존이 이제는 AI 데이터 수집에까지 손을 뻗쳤다는 사실은 데이터 부족 문제와 함께 AI 연구의 전선이 얼마나 치열해졌는지를 보여준다.

AI 학습 데이터의 새로운 원천

AI 모델의 성능은 훈련에 사용되는 데이터의 질에 크게 의존한다. 그러나 인터넷에서 무료로 제공되는 고품질 데이터는 점차 고갈되고 있으며, AI 기술이 발전함에 따라 생성된 콘텐츠를 반복 학습할 경우 모델 성능이 저하될 위험이 커지고 있다. 이러한 배경 속에서 아마존은 절판된 희귀 서적에 주목하게 되었다. 404미디어의 보도에 따르면, 아마존은 라스베이거스에 위치한 'VGT3'라는 시설로 운송된 희귀 서적의 이동 경로를 추적한 결과, 이곳에서 책의 제본을 뜯고 페이지를 스캔하던 모습이 확인되었다.

희귀 서적은 대량으로 수집하기 어려운 독특한 텍스트 데이터를 제공할 수 있는 장점이 있다. 특히, 2022년 이전에 출판된 자료는 생성 AI에 의해 작성된 것이 아니라 인간에 의해 직접 생산된 데이터이기 때문에 그 가치가 더욱 높게 평가받고 있다. 아마존은 이러한 데이터를 대형 언어 모델(LLM) 학습에 활용할 가능성이 있는 것으로 알려졌다.

저작권 문제와 합법적 구매의 중요성

AI 모델이 학습할 데이터의 공급이 증가하면서 저작권 문제도 심각하게 고려해야 할 상황이다. 과거에 앤트로픽은 불법적으로 확보한 도서 데이터를 사용할 경우 발생할 수 있는 대규모 저작권 분쟁을 경험한 바 있다. 아마존은 자신들이 수행하는 서적 구매가 합법적이라고 주장하며, 이를 고객에게 더 나은 제품과 서비스를 제공하기 위한 노력의 일환으로 설명하고 있다. 하지만 구체적으로 어떤 서적을 얼마나 구매했는지에 대해서는 자세한 정보를 공개하지 않아 의구심을 자아내고 있다.

AI 기업들이 새로운 학습 데이터를 확보하는 과정에서 합법적인 구매와 라이선스 계약의 중요성이 더욱 커지고 있다. 기존의 웹 크롤링이나 인터넷 공개 데이터에만 의존하는 것이 아닌, 고유한 데이터 소스를 찾는 것은 이제 필수가 되었다. 이는 향후 AI 업계의 경쟁에서 우위를 점하는 데 있어 결정적인 역할을 할 것이기 때문이다.

데이터 확보 경쟁의 미래

AI 산업의 발전과 함께 데이터 확보 경쟁은 더욱 치열해질 전망이다. AI 모델의 성능을 높이기 위한 고품질 데이터의 필요성이 커지고 있으며, 아마존과 같은 기업들이 희귀 서적을 수집하는 현상은 이러한 흐름의 일환으로 해석될 수 있다. AI가 생성한 콘텐츠의 비율을 줄이고, 인간이 직접 작성한 원천 데이터의 비중을 높이는 것은 모델의 안정성을 유지하는 데 중요한 요소가 될 것이다.