인공지능(AI) 에이전트가 기존 생성형 AI보다 질문 한 건을 처리하는 데 최대 136.5배 많은 전력을 소비하는 것으로 나타났다.
KAIST 전기및전자공학부 유민수 석좌교수팀은 AI 에이전트의 계산 비용과 응답시간, 에너지 소비, 데이터센터 전력 수요를 세계 최초로 정량 분석했다.
이번 연구는 AI 에이전트를 데이터센터에서 새로운 형태의 작업을 만들어내는 ‘인프라 워크로드’로 규정하고 실제 서비스 환경에서 발생하는 비용을 종합적으로 분석했다.
이를 통해 AI 에이전트 시대에는 모델 성능 경쟁을 넘어 데이터센터와 전력 인프라를 함께 설계해야 지속 가능한 AI를 구현할 수 있다고 결론냈다.
최근 생성형 AI는 질문에 답하는 수준을 넘어 스스로 계획을 세우고 인터넷 검색, 코드 실행, 계산기 활용 등 여러 도구를 조합해 문제를 해결하는 AI 에이전트로 빠르게 진화하고 있다.
예를 들어 기존 생성형 AI는 ‘서울에서 부산까지 거리가 얼마인가’라는 질문에 바로 답을 제시한다.
반면 AI 에이전트는 ‘출장 일정을 가장 효율적으로 짜 달라’는 요청을 받으면 항공편과 열차 시간을 검색하고 숙박을 비교하며 이동 시간을 계산한 뒤 최적의 일정을 스스로 만든다.
사람의 비서를 대신하는 것처럼 여러 작업을 순차적으로 수행하는 방식이다.
이런 능력은 업무 자동화와 연구 지원, 소프트웨어 개발 등에서 활용 범위를 크게 넓히지만 그만큼 데이터센터가 처리해야 하는 계산량도 급격히 증가한다.
지금까지 AI 성능 향상에 대한 연구가 대부분이었고 실제 서비스 과정에서 필요한 전력과 비용을 체계적으로 분석한 연구는 없었다.
연구팀은 AI 에이전트가 문제를 해결하는 전 과정을 분석했다.
기존 생성형 AI는 질문을 한 번 입력받아 답을 생성하는 경우가 많지만 AI 에이전트는 여러 단계를 거치며 언어모델을 반복적으로 호출한다.
필요한 정보를 찾기 위해 검색을 실행하고 결과를 다시 분석한 뒤 추가 계산이나 코드 실행을 반복하면서 최종 답을 만든다.
연구팀은 이런 반복 과정 때문에 AI 에이전트가 기존 사고사슬 방식보다 평균 9.2배 많은 대형 언어모델 호출을 수행하는 것으로 확인했다.
호출 횟수가 늘면서 응답 시간도 크게 증가했다.
AI 에이전트의 응답 시간은 최대 153.7배 길어졌다.
특히 연구팀은 데이터센터에서 발생하는 새로운 비효율도 발견했다.
AI 에이전트가 인터넷 검색이나 코드 실행 같은 외부 작업을 수행하는 동안 GPU 아무 계산도 하지 못한 채 대기했다.
일부 작업에서는 GPU가 전체 실행 시간의 최대 54.5%를 기다리는 데 사용됐다.
GPU는 AI 계산을 담당하는 핵심 반도체다.
초당 수조 번 이상의 연산을 수행하도록 설계됐지만 AI 에이전트는 외부 도구의 작업이 끝날 때까지 GPU를 활용하지 못하는 시간이 크게 늘었다.
고가 장비를 충분히 활용하지 못하는 새로운 병목 현상이 나타난 것이다.
연구팀은 전력 소비도 실제 데이터센터 규모로 계산했다.
현재 상용 서비스 수준인 700억 개 매개변수를 갖춘 대형 언어모델을 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41Wh 전력을 사용했다.
이는 기존 생성형 AI의 단순 질의응답보다 최대 136.5배 많은 수준이다.
AI 에이전트가 한 번의 질문을 해결하기 위해 생각을 반복하고 여러 도구를 사용할수록 그만큼 많은 전기를 소비하는 셈이다.
연구팀은 앞으로 AI 에이전트 사용이 급증하는 상황도 가정했다.
하루 137억 건의 AI 에이전트 요청이 발생하면 데이터센터 전력 수요는 약 198.9GW에 이를 것으로 분석됐다.
이는 현재 세계 각국이 구축하는 수 GW 규모 초대형 AI 데이터센터를 크게 뛰어넘는 수준이며 미국 전체 평균 전력 소비량의 약 절반에 해당하는 규모다.
이런 결과는 AI 산업의 경쟁력이 모델 성능에서 인프라 효율성으로 확대되고 있음을 의미한다.
앞으로는 AI 모델만 고도화하는 것으로는 한계가 있으며 AI 반도체와 데이터센터, 전력망을 함께 최적화하는 공동 설계(Co-design)가 필요하다.
공동 설계는 AI 모델과 이를 실행하는 반도체, 서버, 냉각 시스템, 전력망을 각각 따로 개발하지 않고 처음부터 함께 설계하는 방식이다.
AI가 요구하는 계산량과 전력 소비를 동시에 고려해 시스템 전체 효율을 높일 수 있어 차세대 AI 인프라의 핵심 기술로 평가된다.
유 석좌교수는 “이번 연구는 AI가 얼마나 똑똑한지를 넘어 그 지능을 유지하기 위해 필요한 계산 비용과 전력을 처음으로 정량화했다”며 “AI 에이전트 시대에는 데이터센터와 AI 모델, 전력 인프라를 함께 최적화하는 공동 설계가 필수 전략이 될 것”이라고 말했다.
이번 연구는 KAIST 전기및전자공학부 김지인 박사과정이 제1저자로 참여했고, 연구결과는 지난 2월 국제학회 ‘IEEE HPCA 2026’에서 발표했다.
(논문명: The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective)
이재형 기자 jh@kukinews.com
