"학습 데이터 오염 막아라"...AI 기업들, 오프라인 '인쇄 서적' 대량 확보 총력전

중고 서적 대량 확보 AI 오염 AI 슬롭 학습 데이터

AI 기업들이 인터넷상의 AI 생성 콘텐츠 증가로 모델 학습 데이터의 품질이 떨어지자, 이번에는 수백만권의 중고 서적을 대량으로 사들여 AI 학습 데이터로 활용하

AI 기업들이 학습 데이터의 품질 문제를 해결하기 위해 오프라인 서적 확보에 나섰습니다. 최근 몇 년 사이 인공지능(AI) 기술의 발전과 함께 생성된 콘텐츠가 급증하면서, 이로 인한 데이터 품질 저하가 우려되고 있습니다. 이에 따라 AI 모델 개발을 위해 중고 서적을 대량 구매하는 이색적인 시도가 진행되고 있습니다.

AI 학습 데이터의 새로운 출처

404미디어의 보도에 따르면, 주요 AI 기업들이 중고 도서 유통업체와 중개 회사를 통해 수십만 권에서 최대 100만 권에 이르는 종이책을 확보하고 있습니다. 이러한 움직임은 인터넷 공간에서 AI가 생성한 저품질 콘텐츠, 이른바 'AI 슬롭(AI Slop)'으로 알려진 문제로부터 벗어나기 위한 전략으로 여겨집니다. 특히, 2022년 이전에 출판된 서적들이 AI 모델 학습에 가장 가치 있는 자료로 주목받고 있습니다.

앤트로픽은 이러한 흐름의 선두주자로, 수백만 달러를 투자해 중고 서적을 대량 구매하고, 이를 스캔하여 디지털 데이터로 변환한 후 폐기한 바 있습니다. 이는 미국 법원에서 공정 이용(Fair Use)으로 인정받았으나, 불법 복제를 통해 확보한 서적에 대한 손해배상 책임도 이미 인정받은 사례가 있습니다. 이러한 경과는 기업들이 저작권 관련 문제를 어떻게 다루고 있는지를 잘 보여줍니다.

중고 서적의 급증하는 수요

AI 기업들의 주문은 이제 중고 서적 거래 시장의 판도를 바꾸고 있습니다. 익명의 중고 책 판매업자는 올해 4월부터 판매량이 급증하며, 주간 판매량이 평소보다 5배 이상 증가했다고 전했습니다. 이전에는 주당 20권을 판매하면 많은 편이었지만, 현재는 수백 권에 이르는 수치입니다. 이러한 현상은 알리브리스(Alibris)와 비블리오(Biblio)와 같은 다른 중고 서적 거래 플랫폼에서도 나타나고 있습니다.

구매 방식도 독특합니다. AI 기업들은 국제표준도서번호(ISBN)가 부여된 서적을 대상으로 하며, 특정 장르나 작가를 가리지 않고 무작위로 대량 구매를 진행합니다. 가격에 대해서도 크게 따지지 않으며, 시세보다 비싼 책까지 매입하는 사례가 확인되고 있습니다. 이러한 대량 구매는 AI 기업들이 학습 데이터를 확보하기 위한 필수적인 과정으로 자리잡고 있습니다.

디지털화의 이면과 미래의 우려

AI 기업들은 확보한 서적을 스캔해 디지털 데이터로 변환하는 작업을 진행하고 있습니다. 이 과정에서 책을 훼손하지 않는 비파괴 방식과, 책등을 잘라 낱장으로 분리하여 스캔하는 파괴 방식이 사용됩니다. 후자의 경우 비용과 효율성 측면에서 더 유리하다는 판단이 이뤄지며, 수백만 권의 실물 서적이 폐기될 위험에 처해 있습니다.

전문가들은 인쇄 서적이 AI 학습에 귀중한 데이터 자산이라는 점에 동의합니다. 그러나 절판본이나 희귀본이 충분한 검토 없이 디지털화 과정에서 폐기될 가능성이 우려 요소로 지적되고 있습니다. 더욱이, 이렇게 디지털화된 자료는 공공 자산으로 공개되지 않고 AI 기업의 비공식적인 데이터베이스에 저장되어, 일반 연구자나 공공 도서관과는 공유되지 않을 위험이 큽니다.