지난달에 발표된 과학 논문에 대해 챗GPT에게 물어보면 흥미로운 현상이 나타납니다. AI는 “모르겠습니다”라고 답하지 않습니다. 대신, 저자 이름, 학술지 인용 정보, 구체적인 연구 결과까지 갖춘 그럴듯한 연구 내용을 자신 있게 설명합니다. 문제는 이 모든 것이 존재하지 않는다는 점입니다.
이는 버그가 아니라 AI 시스템의 작동 방식에 내재된 특징이며, 대부분의 사용자가 간과하는 중대한 한계를 드러냅니다. AI는 훈련 데이터 수집이 마감된 시점 이후의 정보는 학습할 수 없으며, 이로 인해 기술이 적극적으로 숨기는 위험한 지식 격차를 만들어냅니다. 이러한 한계를 이해하는 것은 단순히 학문적인 문제를 넘어, 연구, 업무, 학습 등 다양한 목적으로 이 도구를 사용하는 모든 사람에게 중요합니다.
AI가 학습할 수 없는 것
AI 모델을 한 장의 사진이라고 생각해 보십시오.
Photo by 아무리 상세하고 인상적인 사진이라도 특정 순간만을 포착할 뿐입니다. 셔터를 누른 이후에 일어나는 모든 일은 사진에 담기지 않습니다.
거대 언어 모델도 비슷하게 작동합니다. 특정 시점, 즉 ‘훈련 데이터 마감일’까지 수집된 방대한 데이터셋을 기반으로 훈련됩니다. 그 시점 이후에도 세상은 계속 변화하지만, AI는 그 시점에 멈춰 있습니다. 새로운 과학적 발견, 정책 변화, 신제품 출시, 글로벌 사건 등은 AI의 지식 기반에는 아예 존재하지 않습니다.
대부분의 사람들이 놀라는 지점은 바로 AI가 사용자와의 대화를 통해 학습하지 않는다는 사실입니다. 챗GPT와 같은 도구와 상호작용할 때마다 매번 새로운 대화가 시작됩니다. 시스템은 이전 질문을 기억하지도, 사용자가 제공한 수정 사항을 바탕으로 이해를 갱신하지도, 공유한 새로운 정보를 통합하지도 않습니다. 대화창을 닫는 순간 모든 대화 내용은 사라집니다.
이는 불편한 현실을 만듭니다. 당신의 연구를 돕는 자신감 넘치고 유창한 조수가 몇 년이나 지난 낡은 정보를 기반으로 답변하고 있을 수 있다는 뜻이며, AI는 그 차이를 알 방법이 없습니다.
AI는 어떻게 지식의 공백을 숨기는가
사람은 자신의 지식을 넘어서는 질문을 받으면 보통 불확실성을 인정합니다. 하지만 AI 시스템은 종종 더 골치 아픈 행동을 합니다.
Photo by 바로 정보를 ‘지어내는’ 것입니다.
연구자들은 이러한 현상을 여러 차례 보고했습니다. 훈련 데이터를 벗어나는 주제에 대한 질문을 받으면, AI 모델은 그럴듯하게 들리지만 완전히 허구인 정보를 생성하는 경우가 많습니다. 쓰이지 않은 논문을 인용하고, 수집된 적 없는 통계를 제시하며, 일어나지 않은 사건을 묘사합니다.
이렇게 지어낸 정보는 실제 정보의 패턴을 따르기 때문에 특히 더 그럴듯해 보입니다. 가짜 인용 정보에는 실제 있을 법한 저자 이름, 적절한 학술지명, 신빙성 있는 출판 연도가 포함됩니다. 가짜 통계는 합리적인 범위 내에 있으며 주변 주장을 뒷받침합니다. 별도의 검증 없이는 이러한 창작물을 가려내기가 거의 불가능합니다.
이러한 행동은 AI의 텍스트 생성 방식에서 비롯됩니다. 이 시스템들은 훈련 데이터의 패턴을 기반으로 가장 확률이 높은 다음 단어를 예측합니다. 익숙하지 않은 주제에 대한 질문을 받아도, 시스템은 지식의 공백을 인지하지 못합니다. 그저 그럴듯하게 들리는 텍스트를 계속해서 예측할 뿐입니다. 그 결과물은 지식처럼 보이지만, 신뢰할 수 있는 내용은 전혀 없습니다.
지식 격차가 실제 위험을 초래하는 경우
상황에 따라 위험의 정도는 극적으로 달라집니다.
Photo by 고대사나 기초 물리학에 대해 묻는다면 훈련 데이터 마감 시점은 거의 중요하지 않습니다. 하지만 최신 의료 기술이나 최근 개정된 법률에 대해 묻는다면, 당신은 지뢰밭을 걷는 것과 같습니다.
의료 분야를 예로 들어보겠습니다. 의약품 승인, 안전성 경고, 치료 지침은 끊임없이 업데이트됩니다. 주요 안전 문제로 리콜이 발생하기 전에 훈련된 AI는 현재 위험 약물로 분류된 의약품을 추천할 수도 있습니다. 최신 임상시험 결과를 모르는 시스템은 더 효과적인 치료법을 놓칠 수도 있습니다. 건강 관련 결정을 위해 정보를 찾는 사람에게 오래된 정보는 단순히 불편한 것을 넘어 잠재적으로 해로울 수 있습니다.
비즈니스 의사결정 역시 비슷한 취약점을 가집니다. 시장은 변하고, 경쟁자는 나타나며, 규제는 바뀝니다. 업계를 분석하는 AI는 6개월 전에 출범하여 현재 상당한 시장 점유율을 차지하고 있는 스타트업을 놓칠 수 있습니다. 또한 이미 개정된 규정을 기반으로 한 준법 전략을 제안할 수도 있습니다.
기술 분야도 예외는 아닙니다. AI 코딩 도우미를 사용하는 개발자들은 더 이상 사용되지 않는 라이브러리나 대체된 보안 관행에 기반한 코드를 제안받기도 합니다. 코드는 작동할지 몰라도, 최신 접근 방식으로는 피할 수 있었을 취약점을 포함할 수 있습니다.
공통점은 무엇일까요? 최신 정보가 중요한 모든 분야는 AI의 도움을 받기에 위험한 영역이 된다는 것입니다.
한계에도 불구하고 AI를 안전하게 사용하는 법
이 모든 것이 AI 도구가 쓸모없다는 의미는 결코 아닙니다.
Photo by 오히려 그 반대입니다. 하지만 AI를 효과적으로 사용하려면 AI가 잘하는 것과 부족한 점을 이해하고 사용하는 것이 중요합니다.
먼저 훈련 데이터 마감 시점을 확인하는 것부터 시작하세요. 대부분의 AI 시스템은 직접 물어보면 자신의 지식 한계를 알려줍니다. 이 간단한 단계만으로도 어떤 질문이 오래된 정보를 반환할 수 있는지 미리 인지하는 데 도움이 됩니다.
검증하는 습관을 기르세요. AI가 제공하는 구체적인 사실, 통계, 인용 정보는 30초만 투자하여 최신 출처를 통해 확인하세요. 이는 AI를 전적으로 불신하라는 의미가 아닙니다. 아무리 뛰어난 조수라도 사각지대는 있기 마련이라는 점을 인지하자는 것입니다.
AI의 강점을 활용하세요. 이 도구들은 시대를 초월하는 개념을 설명하고, 아이디어를 브레인스토밍하며, 논리적인 문제를 해결하는 데 탁월합니다. 최신 정보가 중요한 경우에는 전통적인 검색 엔진이나 전문 데이터베이스를 사용하세요.
연구 결과도 이러한 균형 잡힌 접근법을 지지합니다. AI 리터러시, 즉 이 시스템들이 실제로 어떻게 작동하는지 이해하는 것이 문제적인 과잉 의존을 크게 줄여준다고 합니다 [Arxiv]. 목표는 AI를 피하는 것이 아니라 현명하게 사용하는 것입니다.
AI의 지식 격차는 향후 업데이트로 해결될 결함이 아닙니다. 이는 AI 시스템의 작동 방식에 내재된 근본적인 특징입니다. 모든 모델에는 데이터 마감일이 있으며, 그 경계 너머의 모든 것은 AI가 인지할 수 없는 사각지대에 존재합니다.
AI가 보조하는 미래 사회에서 가장 중요한 기술은 어쩌면 이 조수를 신뢰하지 말아야 할 때를 아는 것일지도 모릅니다. 다음 AI와 상호작용하기 전에 스스로에게 물어보세요. ‘이 질문은 지난 1년 이내의 정보가 필요한가?’ 만약 그렇다면, 직접 검증하세요. 이 간단한 습관은 숨겨진 위험을 관리 가능한 한계로 바꾸고, AI를 낡은 정보의 자신감 넘치는 출처가 아닌, 진정으로 유용한 도구로 만들어 줄 것입니다.
