AI 모델이 이전 AI 모델이 생성한 합성 데이터로 훈련하는 경우가 늘면서 성능을 저하시키는 피드백 루프가 만들어지고 있습니다. 연구에 따르면 소량의 합성 데이터만으로도 모델 붕괴가 촉발될 수 있으며, 이로 인해 2022년 이전의 인간 생성 콘텐츠는 데이터 시장에서 프리미엄 자원이 되고 있습니다.
모델 붕괴와 성능 저하
‘모델 붕괴’라는 용어는 그 현상이 극적이기 때문에 극적으로 들립니다. Nature지에 발표된 연구에 따르면, 재귀적으로 생성된 데이터에 대한 무분별한 훈련은 완전히 무의미한 결과로 이어질 수 있습니다. 단순히 성능이 약간 나빠지는 수준이 아닙니다. 의미 없는 출력물로 완전히 붕괴되는 것입니다.
통계적 관점에서 볼 때, 합성 데이터만으로 훈련할 경우 이러한 붕괴는 불가피해 보입니다. 그 메커니즘은 유전적 근친 교배와 같이 작동합니다. 즉, 드물지만 중요한 정보가 먼저 사라집니다. 특이 사례가 사라지고, 미묘한 이해력이 침식됩니다. 남는 것은 일반적인 시나리오는 무난하게 처리하지만 특이한 상황에서는 치명적으로 실패하는 모델뿐입니다.
특히 우려스러운 점은 합성 데이터가 아주 적은 비율이라도 신중하게 통제되지 않으면 성능을 저하시킬 수 있다는 연구 결과입니다. 문제를 일으키기 위해 훈련 세트가 100% 합성 데이터일 필요는 없습니다. 훨씬 낮은 수준의 오염으로도 성능 저하 과정이 시작될 수 있습니다.
대규모 모델은 특히 잔인한 아이러니에 직면합니다. 연구에 따르면, 더 큰 시스템일수록 자기소비 루프가 작은 모델에 비해 더 빠른 성능 저하로 이어진다고 합니다. 이 모델들을 강력하게 만드는 바로 그 규모가 합성 데이터를 공급받을 때 성능 저하를 가속화하는 것입니다.
프리미엄 자원이 되는 실제 데이터
이 오염된 환경에서, 진짜 인간이 생성한 데이터는 디지털 금이 되었습니다. 기업들은 이제 출처가 명확하고 검증된 인간 생성 데이터셋에 프리미엄 가격을 지불하고 있습니다. 데이터 마켓플레이스에서는 인증된 2022년 이전 콘텐츠의 가격이 급등했다고 보고합니다. 현 세대의 AI 도구가 인터넷을 뒤덮기 전에 만들어진 자료들입니다. 논리는 간단합니다. 오래된 콘텐츠일수록 진짜 인간이 만들었을 확률이 높기 때문입니다.
AI 시대 이전의 아카이브는 전략적 비축물처럼 취급되고 있습니다. 역사적 콘텐츠 라이브러리, 학술 데이터베이스, 합성 데이터 홍수 이전의 인간 상호작용 기록 등은 주요 AI 연구소로부터 독점 라이선스 계약을 유치하고 있습니다. 오염이 시작되기 전에 깨끗한 데이터를 보존했던 조직들은 이제 엄청난 가치의 자산을 보유하게 된 것입니다.
AI 개발의 경제학이 역전되고 있습니다. 한때 주요 제약 조건이었던 컴퓨팅 파워는 상품화되고 있습니다. 데이터 품질이 진정한 병목 현상으로 떠오르고 있습니다.
