중국 AI 산업의 새로운 복병...반도체 넘어 '중국어 학습 데이터 기근' 심화

중국 AI 산업의 새로운 장애물, '중국어 학습 데이터 기근'

최근 중국이 미국의 반도체 수출 규제에 대응하기 위해 AI 기술 개발에 박차를 가하고 있는 가운데, 또 다른 도전 과제가 부각되고 있다. 바로 고품질의 중국어 학습 데이터 부족이라는 문제다. 이는 AI 모델의 성능을 좌우하는 중요한 요소인 만큼, 중국의 AI 산업 성장에 상당한 제약으로 작용할 것으로 보인다.

데이터의 양과 질, 모두 부족한 상황

사우스차이나모닝포스트(SCMP)의 보도에 따르면, 중국어는 전 세계 웹 콘텐츠에서 차지하는 비중이 불과 1.3%에 그치고 있다. 이는 영어가 약 50%를 차지하는 것과 비교할 때 현저히 낮은 수치로, 스페인어와 일본어에 비해서도 뒤처진다. 이러한 데이터 부족 문제는 단순히 양적인 측면에서만 나타나는 것이 아니다. 중국의 디지털 생태계는 독특하게 형성되어 있어, 위챗과 더우인과 같은 대형 플랫폼이 보유한 데이터가 외부 개발자와 AI 기업과의 공유를 제한함으로써 상황을 더욱 악화시키고 있다.

AI 기업들은 이러한 공개 데이터에 의존할 수밖에 없으며, 그로 인해 질이 낮은 데이터로 학습해야 하는 현실에 직면해 있다. 이러한 문제는 중국만의 상황은 아니지만, 중국에서의 영향은 더욱 심각하게 나타날 수 있다. 실제로 중국 기업들이 AI 모델을 학습하는 데 들어가는 데이터 비용이 미국 등 서구권 기업들보다 월등히 높은 것으로 알려졌다.

정부의 대응과 데이터 전략

중국 정부는 이 같은 데이터 부족 문제를 국가 차원의 전략적 과제로 인식하고 있으며, 이를 해결하기 위한 다양한 방안을 모색하고 있다. 최근 국가데이터관리국은 2028년까지 제조업, 의료, 금융 등 주요 산업을 아우르는 AI 학습 데이터셋 구축 계획을 발표했다. 이는 AI 경쟁력을 단순히 모델이나 컴퓨팅 성능에 국한하지 않고, 고품질 데이터를 안정적으로 공급할 수 있는 체계를 갖추기 위한 노력을 포함하고 있다.

또한, 컴퓨터과학자인 쑨마오쑹 교수는 역사 기록, 고문헌, 지역 방언 등 아직 디지털화되지 않은 자료를 적극적으로 데이터화해야 한다고 주장하고 있다. 이는 중국 정부가 보유한 방대한 오프라인 자료를 AI 학습에 활용하는 중요한 프로젝트가 될 가능성이 높다는 의미이다. 그러나 이러한 데이터 확보 과정에서 저작권과 지식재산권을 둘러싼 갈등이 커질 것으로 예상된다. 최근 화샤출판사는 AI 학습을 위한 콘텐츠 사용을 금지하는 경고문을 추가하는 등 데이터 제공자와 AI 기업 간의 충돌이 본격화되고 있다.

향후 전망과 의미

중국의 AI 산업이 고품질 데이터를 확보하지 못한다면, 모델 성능 향상은 물론 전체 산업의 성장에도 큰 제약이 발생할 수 있다. 이러한 데이터 기근이 해결되지 않으면, AI 기술의 발전이 정체될 위험도 존재한다. 미국에서도 AI 기업들이 오프라인 자료를 활용하기 위해 막대한 비용을 투자하는 추세가 보이고 있으며, 이는 앞으로도 계속될 것으로 예상된다.

결국, 중국의 데이터 부족 문제는 단순한 기술적 한계를 넘어 국가 경쟁력과도 직결되는 중대한 사안이다. 앞으로의 대응이 AI 산업의 미래를 결정짓는 중요한 기로가 될 것으로 보인다.