8월의 사막 고속도로처럼 공기가 아른거리는 서버실을 상상해 보십시오. 내부에서는 수십억 개의 연산을 처리하는 AI 프로세서들이 줄지어 있고, 각 칩은 작은 아파트 하나를 데울 만큼의 열을 내뿜고 있습니다. 한 기술자가 온도 표시를 확인하고는 얼굴을 찡그립니다. 냉각 시스템은 이미 최대치로 가동되고 팬은 최고 속도로 비명을 지르듯 돌고 있지만, 하드웨어는 녹아내리는 것을 막기 위해 스스로 성능을 저하시키고 있습니다.
이러한 장면은 ChatGPT 규모의 워크로드가 기하급수적으로 늘어나고 기존의 공랭식 냉각 방식이 물리적 한계에 부딪히면서 전 세계 데이터 센터에서 매일같이 벌어지고 있는 일입니다. 해결책은 더 큰 팬이나 더 많은 에어컨을 설치하는 것이 아닙니다. 컴퓨팅의 가장 뜨거운 부품에서 열을 어떻게 빼낼 것인가에 대한 근본적인 재고가 필요합니다. 한때 슈퍼컴퓨터나 오버클러킹 애호가들의 전유물이었던 액체 냉각 기술이 이제 AI 인프라의 핵심으로 빠르게 자리 잡고 있습니다. 이 기술은 차세대 머신러닝을 가능하게 하는 동시에 에너지 비용을 획기적으로 절감합니다.
AI 데이터 센터의 열 위기
최신 AI 가속기는 단순히 뜨겁게 작동하는 수준이 아닙니다.
Photo by 10년 전에는 상상도 할 수 없었던 수준의 열 부하를 발생시킵니다. 대부분의 대규모 언어 모델의 핵심인 NVIDIA의 H100 칩은 개당 700와트를 소비합니다. 일반적인 서버 CPU가 300와트를 소비하는 것과 비교하면 문제의 규모가 명확해집니다.
이러한 프로세서들을 충분히 쌓으면 서버 랙 하나가 50~100킬로와트의 전력을 소비하게 됩니다. 이는 냉장고만 한 공간에 일반 가정 30가구의 전력 부하가 집중된 것과 같습니다. 공랭식 냉각 기술은 랙당 약 20~25킬로와트가 한계입니다. 단순히 계산이 맞지 않는 것입니다.
그 결과는 과열에 그치지 않습니다. 적절한 냉각 없이는 차세대 칩이 살아남기 위해 스스로 성능을 저하시키면서 30% 이상의 성능 손실을 겪을 수 있습니다 [Indiana]. 한편, 기존 시설의 냉각 시스템은 전체 전력의 최대 40%를 소비합니다 [Indiana]. 이는 AI 운영 비용을 점점 더 비싸게 만드는 엄청난 간접 비용입니다.
칩 직접 냉각: 외과 수술과 같은 정밀함
칩 직접 냉각(Direct-to-Chip) 방식은 전신 치료보다는 표적 치료에 가깝다고 생각할 수 있습니다.
Photo by 방 전체를 차가운 공기로 채워 프로세서에 충분히 도달하기를 바라는 대신, 이 접근 방식은 열이 발생하는 곳에 직접 냉각수를 전달합니다.
이 기술은 CPU와 GPU에 직접 장착된 내부 채널이 있는 금속 블록인 콜드 플레이트를 사용합니다. 물이나 특수 냉각수가 이 플레이트를 통해 흐르면서 놀라운 효율로 열을 흡수합니다. 물리학적 원리는 명확합니다. 물은 공기보다 열을 23배 더 잘 전도하며, 단위 부피당 3,000배 더 많은 열에너지를 저장할 수 있습니다 [Ainvest]. 일부 시스템은 공랭식보다 50배에서 1,000배 더 효율적인 열 전달률을 달성합니다 [Schneider].
실제로 이는 칩이 15~20°C 더 차갑게 작동하여 성능 저하 없이 최고 성능을 유지할 수 있음을 의미합니다. Microsoft Azure를 포함한 주요 클라우드 제공업체들은 이미 AI 중심 리전에 칩 직접 냉각 시스템을 배포했습니다. 이 하이브리드 접근 방식은 특히 실용적입니다. 액체 냉각이 가장 뜨거운 부품을 처리하는 동안 기존 공랭식은 메모리와 스토리지를 관리하므로, 시설을 처음부터 다시 짓는 대신 점진적으로 업그레이드할 수 있습니다.
액침 냉각: 완벽한 해결책
칩 직접 냉각이 외과 수술이라면, 액침 냉각(Immersion Cooling)은 완전한 환경 재설계입니다. 서버 전체를 유전체 유체, 즉 전기는 통하지 않지만 열 흡수 능력은 뛰어난 특수 액체가 담긴 탱크에 담급니다.
Photo by 그 결과는 놀라울 정도입니다. 단상 액침 시스템은 전력 사용 효율(PUE) 등급을 1.03에서 1.05까지 낮출 수 있습니다 [Indiana]. 이는 거의 모든 전기가 냉각 간접 비용이 아닌 컴퓨팅에 사용된다는 의미입니다. 기존 공랭식 시설은 보통 1.5에서 2.0 사이의 점수를 받는데, 이는 사실상 전력의 절반을 공조 시스템에 낭비하는 셈입니다.
밀도 향상 또한 극적입니다. 액침 냉각을 사용하면 원래 20킬로와트 공랭식 랙을 위해 설계된 공간에 250킬로와트의 컴퓨팅을 집적할 수 있습니다. 이 기술을 전문으로 하는 회사들은 냉각 인프라 공간을 95% 줄였다고 보고합니다. 부동산 제약에 직면하거나 새로운 AI 시설을 계획하는 조직에게 액침 냉각은 물리적으로 가능한 것의 개념을 바꾸어 놓습니다.
시원함을 유지하는 경제학
액체 냉각에는 추가 비용이 따릅니다.
Photo by 칩 직접 냉각 시스템은 랙당 5만 달러에서 10만 달러를 추가할 수 있습니다. 예산에 민감한 운영자에게는 이 가격표에 대한 정당성이 필요합니다.
이익은 운영 비용 절감을 통해 실현됩니다. 칩 직접 냉각 시스템을 사용하면 냉각 에너지 소비가 30~40% 감소하며, 현지 전기 요금 및 가동률에 따라 투자 회수 기간은 2년에서 4년 사이입니다. 액침 냉각은 CRAC 장치, 이중 마루, 핫아일 격리 시스템과 같은 인프라 전체를 제거함으로써 경제성을 더욱 높입니다.
줄어든 부동산 요구 사항과 더 간단한 건설을 고려하면, 총 시설 비용은 20~30% 감소할 수 있습니다. 어려운 기후에 위치한 공랭식 사이트는 추가적인 부담을 안고 있습니다. 높은 에너지 소비와 증발 냉각을 위한 상당한 물 사용량은 현대 액체 시스템이 급격히 줄일 수 있는 문제입니다 [Frore Systems]. 프리미엄 가격은 점점 비용이 아닌 투자로 보입니다.
업계의 동향과 다음 단계
실험적인 단계에서 주류로의 전환이 가속화되고 있습니다. 2025년에는 새로운 냉각 투자의 약 84%가 액체 솔루션을 목표로 할 것으로 추정됩니다 [Markets].
Photo by 2026년까지 새로운 데이터 센터에서의 액체 냉각 채택률은 약 22%에 도달했습니다 [Airsysnorthamerica]. 이 수치는 AI 전용 시설에서 이 기술의 지배력을 과소평가한 것입니다.
Meta, Google, Microsoft는 AI 훈련 클러스터를 위한 주요 액체 냉각 배치를 발표했습니다. Dell, HPE, Lenovo를 포함한 서버 제조업체들은 이제 맞춤형 빌드가 아닌 표준 옵션으로 액체 냉각 구성을 제공합니다. 생태계가 성숙한 것입니다.
아마도 가장 흥미로운 것은 곧 다가올 혁신들일 것입니다. Amazon과 Google은 가뭄이 잦은 지역의 물 소비에 대한 우려를 해결하기 위해 무수 2상 냉각 및 폐쇄 루프 시스템을 실험하고 있습니다 [Indiana]. 이 기술은 주류로 진입하면서도 계속해서 진화하고 있습니다.
액체 냉각은 이국적인 슈퍼컴퓨터 기술에서 표준 AI 인프라로의 여정을 완료했습니다. 칩 직접 냉각 시스템은 기존 시설에 외과적 정밀도를 제공하는 반면, 액침 냉각은 데이터 센터 설계에 대한 완전히 새로운 접근을 가능하게 합니다. 특히 AI 워크로드가 끊임없이 증가함에 따라 경제성은 점점 더 액체 솔루션에 유리해지고 있습니다.
AI 배치를 계획하는 조직에게 질문은 액체 냉각을 고려할지 여부가 아닙니다. 어떤 접근 방식이 그들의 일정과 예산에 맞는가 하는 것입니다. AI 혁명은, 알고 보니 생각보다 더 시원하게 작동합니다.
