복사기가 자신의 복사본을 계속 복사하는 장면을 상상해 보십시오. 세대를 거듭할수록 이미지는 점점 흐릿해지고 왜곡되어 마침내 원본은 알아볼 수 없는 노이즈가 됩니다. 지금 인공지능에게도 섬뜩할 정도로 비슷한 일이 일어나고 있습니다.
AI 시스템이 자신의 결과물을 먹어치우고 있습니다. 기계가 생성한 콘텐츠가 인터넷에 넘쳐나면서, 다음 세대 모델들은 점점 이전 세대가 만든 데이터로 훈련하고 있습니다. 연구자들은 이 종착점을 ‘모델 붕괴(model collapse)‘라고 부릅니다. AI 산업은 불편한 진실에 직면해 있습니다. 바로 합성 데이터 오염이 모델 성능을 저하시키고 있으며, 진짜 인간 데이터가 AI 시대의 가장 귀중한 자원이 될 수 있다는 사실입니다.
합성 데이터 피드백 루프
순환 과정은 이렇습니다. AI 모델이 텍스트, 이미지, 코드를 생성합니다. 그 콘텐츠는 온라인에 게시됩니다.
Photo by 웹 스크레이퍼가 훈련 데이터셋을 위해 그것을 수집합니다. 새로운 모델이 그 데이터로 학습합니다. 그 모델은 더 많은 콘텐츠를 생산합니다. 이 과정이 반복됩니다.
각 반복은 무해하게 들릴 수 있습니다. 하지만 수학은 냉정합니다. 모든 훈련 주기는 기존의 편향을 증폭시키는 동시에 결과물의 다양성을 감소시킵니다 [Icis]. 반향실이 메아리가 칠 때마다 점점 더 작아지는 것을 생각해 보십시오. 가능한 결과물의 범위는 줄어들고 오류는 더 커집니다.
인간의 창의성은 지저분하고, 예측 불가능하며, 놀라울 정도로 비일관적입니다. 우리는 오타를 내고, 그것이 신조어가 되기도 합니다. 강조를 위해 문법 규칙을 깨기도 합니다. 논리적으로는 말이 안 되지만 어쩐지 효과가 있는 방식으로 아이디어를 결합하기도 합니다. 합성 데이터에는 이런 아름다운 혼돈이 없습니다. 모델이 주로 다른 모델로부터 학습할 때, 그들은 균일화된 평균으로 수렴합니다. 기술적으로는 정확하지만 점점 더 단조롭고 예측 가능해지는 것입니다.
이러한 수렴의 결과는 이미 전 세계 연구실에서 측정되고 있습니다.
모델 붕괴와 성능 저하
‘모델 붕괴’라는 용어는 그 현상이 극적이기 때문에 극적으로 들립니다. Nature지에 발표된 연구에 따르면, 재귀적으로 생성된 데이터에 대한 무분별한 훈련은 완전히 무의미한 결과로 이어질 수 있음을 보여주었습니다 [Qat].
Photo by 단순히 성능이 약간 나빠지는 수준이 아닙니다. 의미 없는 출력물로 완전히 붕괴되는 것입니다.
통계적 관점에서 볼 때, 합성 데이터만으로 훈련할 경우 이러한 붕괴는 불가피해 보입니다 [Qat]. 그 메커니즘은 유전적 근친 교배와 같이 작동합니다. 즉, 드물지만 중요한 정보가 먼저 사라집니다. 특이 사례(edge case)가 사라지고, 미묘한 이해력이 침식됩니다. 남는 것은 일반적인 시나리오는 무난하게 처리하지만 특이한 상황에서는 치명적으로 실패하는 모델뿐입니다.
특히 우려스러운 점은 합성 데이터가 아주 적은 비율이라도 신중하게 통제되지 않으면 성능을 저하시킬 수 있다는 연구 결과입니다 [Qat]. 문제를 일으키기 위해 훈련 세트가 100% 합성 데이터일 필요는 없습니다. 훨씬 낮은 수준의 오염으로도 성능 저하 과정이 시작될 수 있습니다.
대규모 모델은 특히 잔인한 아이러니에 직면합니다. 연구에 따르면, 더 큰 시스템일수록 자기소비 루프가 작은 모델에 비해 더 빠른 성능 저하로 이어진다고 합니다 [Qat]. 이 모델들을 강력하게 만드는 바로 그 규모가 합성 데이터를 공급받을 때 성능 저하를 가속화하는 것입니다.
일단 붕괴가 시작되면, 새로운 인간 데이터 주입 없이는 회복이 거의 불가능합니다. 오류는 복리로 쌓이고, 격차는 벌어지며, 세상에 대한 모델의 이해는 점점 더 왜곡됩니다.
빠르게 증가하는 인터넷 콘텐츠 오염
인터넷은 우리 발밑에서 변모하고 있습니다.
Photo by 추정에 따르면 2025년까지 AI 생성 콘텐츠가 새로운 온라인 자료의 50~70%를 차지할 수 있다고 합니다. 소셜 미디어 게시물, 뉴스 기사, 제품 리뷰, 포럼 토론 등 합성 텍스트가 웹의 모든 구석을 뒤덮고 있습니다.
이는 탐지의 악몽을 만듭니다. 현재 AI 생성 콘텐츠를 식별하는 도구는 생성 능력을 따라가지 못하고 있습니다. 탐지기가 한 모델의 결과물을 따라잡을 때쯤이면, 다른 특징을 가진 세 개의 새로운 모델이 등장합니다. 훈련 데이터셋을 구축하는 웹 스크레이퍼는 인간과 기계를 안정적으로 구별할 수 없습니다.
비대칭성은 뚜렷합니다. 합성 콘텐츠 생성은 저렴하고 빠릅니다. 진위 여부 확인은 비싸고 느립니다. 매일 합성 콘텐츠와 인간 콘텐츠의 비율은 인공적인 쪽으로 더욱 기울고 있으며, 이는 문제를 기하급수적으로 더 어렵게 만듭니다.
프리미엄 자원이 되는 실제 데이터
이 오염된 환경에서, 진짜 인간이 생성한 데이터는 디지털 금이 되었습니다.
기업들은 이제 출처가 명확하고 검증된 인간 생성 데이터셋에 프리미엄 가격을 지불하고 있습니다.
Photo by 데이터 마켓플레이스에서는 인증된 2022년 이전 콘텐츠의 가격이 급등했다고 보고합니다. 현 세대의 AI 도구가 인터넷을 뒤덮기 전에 만들어진 자료들입니다. 논리는 간단합니다. 오래된 콘텐츠일수록 진짜 인간이 만들었을 확률이 높기 때문입니다.
AI 시대 이전의 아카이브는 전략적 비축물처럼 취급되고 있습니다. 역사적 콘텐츠 라이브러리, 학술 데이터베이스, 합성 데이터 홍수 이전의 인간 상호작용 기록 등은 주요 AI 연구소로부터 독점 라이선스 계약을 유치하고 있습니다. 오염이 시작되기 전에 깨끗한 데이터를 보존했던 조직들은 이제 엄청난 가치의 자산을 보유하게 된 것입니다.
AI 개발의 경제학이 역전되고 있습니다. 한때 주요 제약 조건이었던 컴퓨팅 파워는 상품화되고 있습니다. 데이터 품질이 진정한 병목 현상으로 떠오르고 있습니다.
자기잠식의 순환고리 끊기
합성 데이터의 덫에서 벗어나려면 여러 방면에서 조치가 필요합니다.
콘텐츠 인증이 한 가지 길을 제시합니다.
Photo by C2PA 표준과 같은 기술은 콘텐츠의 출처와 수정 이력을 암호학적으로 검증할 수 있습니다. 블록체인 기반의 출처 추적은 인간이 만든 콘텐츠에 대한 감사 가능한 관리 연속성을 만들 수 있습니다. 이러한 시스템이 합성 콘텐츠의 존재를 막지는 못합니다. 단지 진위 여부를 검증 가능하게 만들 뿐입니다.
선별된 저장소(curated repositories)는 또 다른 전략입니다. 주요 연구소들은 웹 스크레이핑 파이프라인과 분리되고 엄격한 품질 관리를 받는 내부 “클린 데이터” 비축량을 구축하고 있습니다. 정기적인 진위 감사를 통해 이 비축량이 오염되지 않도록 보장합니다. 비용이 많이 들지만, 대안은 더 나쁩니다. 즉, 점점 더 오염된 데이터로 훈련하는 것입니다.
AI 시스템을 구축하는 개발자들을 위한 실질적인 가이드라인이 등장하고 있습니다. 모범 사례에 따르면 모델 붕괴를 막기 위해 훈련 세트에서 합성 데이터 비율을 20% 미만으로 유지할 것을 제안합니다. 훈련 파이프라인에 인간 검증 단계를 두면 오염이 손상을 일으키기 전에 잡아낼 수 있습니다. 핵심은 의도성입니다. 웹을 맹목적으로 스크레이핑하는 대신 훈련 데이터에 무엇이 있는지 정확히 아는 것입니다.
외부 완화 조치 없이는 이 과정은 필연적으로 모델 붕괴로 이어집니다 [Unite]. 좋은 소식은 완화가 가능하다는 것입니다. 나쁜 소식은 노력과 투자, 그리고 데이터에 대한 우리의 사고방식에 근본적인 변화가 필요하다는 것입니다.
AI의 합성 데이터 자기잠식은 먼 미래의 이론적 우려가 아닙니다. 지금 일어나고 있으며, 모델 품질에 측정 가능한 영향을 미치고 있습니다. 재귀적 훈련 루프는 편향을 증폭시키고, 다양성을 침식하며, 궁극적으로는 무의미한 결과물을 생성하는 시스템을 만들어낼 수 있습니다.
해결책은 진짜 인간 데이터를 그것이 가진 귀중한 자원으로 취급하는 것을 요구합니다. 출처 추적, 선별된 저장소, 신중한 파이프라인 관리는 피드백 루프를 끊을 수 있습니다. AI 시스템을 구축하거나 배포하는 모든 사람에게, 성능 저하가 돌이킬 수 없게 되기 전에 훈련 데이터의 합성 오염 여부를 평가하는 것이 우선순위가 되어야 합니다.
무한한 합성 콘텐츠의 시대에, 인간의 진정성은 기술의 가장 가치 있고 점점 더 위협받는 자원이 되었습니다.
