1년 뒤의 AI 에이전트 — 열풍이 지나간 자리에 남은 것

AI 에이전트 도입 열풍 1년 뒤의 현실입니다. 기업용 소프트웨어의 80%가 에이전트를 품게 됐고 운영까지 올린 기업의 ROI는 171%지만, 프로젝트의 40%는 2027년까지 취소될 전망입니다. 성과를 낸 소수와 프로젝트를 접은 다수를 가른 네 가지 차이를 중소기업 관점에서 정리합니다.

AXAI 전환AI 에이전트도입 전략컨설팅

1년 전 우리는 "에이전트의 시대"라고 불렀습니다. 이제 그 시대가 실제로 어땠는지 이야기할 때가 됐습니다.

선언은 쉽고, 운영은 어렵습니다

AI가 일하는 방식을 바꾸고 있다 편에서, 우리는 에이전트가 "대답하는 AI"에서 "일하는 AI"로 넘어가는 전환을 이야기했습니다. 목표를 주면 스스로 계획하고, 도구를 불러 실행하고, 결과를 확인하는 AI 말입니다.

1년이 지났습니다. 시장은 그 방향으로 확실히 움직였습니다. 그런데 움직인 방향과, 실제로 성과를 낸 곳은 달랐습니다.

이 간극은 국내 숫자에서도 보입니다. 정보통신정책연구원(KISDI)이 2010~2024년 사업보고서 38,522건의 '사업의 내용'을 분석한 결과, 인공지능 관련 키워드를 담은 기업의 비중은 2024년 약 53.7%로 비AI 기업을 역전했습니다. 다만 이는 사업보고서에 AI를 적은 기업의 비율이지, AI가 실제로 일하고 있는 기업의 비율은 아닙니다. 선언과 운영 사이의 거리는 그만큼 멀 수 있습니다.

숫자가 말하는 두 개의 진실

먼저 밝은 쪽입니다. 조사 기관 가트너에 따르면 2026년에 출하되거나 업데이트된 기업용 소프트웨어의 80%가 최소 하나 이상의 AI 에이전트를 품게 됐습니다. 2024년의 33%에서 급등한 수치입니다. 그리고 실제 운영 단계까지 올린 기업의 평균 투자 대비 성과(ROI)는 171%로, 기존 자동화의 약 3배에 달했다는 조사도 있습니다.

이제 어두운 쪽입니다. 같은 가트너는 에이전트 프로젝트의 약 40%가 2027년까지 운영에 이르지 못하고 취소될 것이라 경고했습니다. 실제로 지금 프로덕션에서 에이전트를 돌리는 기업은 아직 31% 수준입니다.

같은 기술, 정반대의 결과. 이 격차가 이 글의 핵심입니다.

파일럿은 왜 무덤이 되는가

저희가 만난 한 중소 유통사는 고객 문의를 처리하는 AI 에이전트 파일럿을 성공적으로 마쳤습니다. 데모는 훌륭했습니다. 그런데 6개월 뒤, 그 에이전트는 조용히 꺼져 있었습니다.

이유는 기술이 아니었습니다.

  • 실제 문의 데이터는 데모용 질문보다 훨씬 지저분했습니다.
  • 에이전트가 틀렸을 때 누가 책임지고 고치는지 정해져 있지 않았습니다.
  • "잘 되고 있는지"를 판단할 기준 수치가 처음부터 없었습니다.

파일럿은 성공했다, 그 다음은? 편에서 다룬 함정이, 에이전트에서 더 날카롭게 반복된 것입니다.

살아남은 소수의 네 가지 공통점

운영까지 도달한 소수의 회사들에게는 뚜렷한 공통점이 있었습니다. 기술 수준이 아니라 준비의 방식이 달랐습니다.

1. 도입 전에 바닥을 다졌다 데이터, 권한, 연결. 에이전트가 실제로 일하려면 회사 시스템에 손이 닿아야 합니다. 이 배관을 먼저 깐 곳이 살아남았습니다.

2. 시작 전에 규칙을 문서로 정했다 에이전트가 무엇을 해도 되고, 무엇은 사람에게 넘겨야 하는지. 이것을 사고가 나기 전에 적어둔 회사와, 나고 나서 적은 회사의 운명은 달랐습니다. 에이전트는 세션마다 문맥 창(context window)이 비워지기 때문에, 규칙과 맥락을 파일로 남겨 매번 다시 읽히는 구조가 필요합니다. 우리 기록형 AI 업무법 시리즈에서 다룬 원리가 그대로 적용됩니다.

규칙이 없을 때 어떤 일이 생기는지는 해외 사례가 보여줍니다. 2025년 4월, AI 코드 편집기 Cursor의 고객지원 에이전트 'Sam'은 버그로 생긴 로그아웃 문의에 '구독 하나당 기기 하나가 핵심 보안 기능'이라는 존재하지 않는 정책을 지어내 답했고, 이를 공식 방침으로 믿은 사용자들이 구독 해지를 공개적으로 선언했습니다. 회사는 이후 이메일 지원에 쓰이는 AI 답변에는 그 사실을 명확히 표시하도록 바꿨습니다.

3. 파일럿 전에 '현재 수치'를 쟀다 지금 이 업무에 몇 시간, 몇 명, 얼마가 드는지. 이걸 재두지 않으면 나중에 성과를 측정할 수 없습니다. 개선을 증명 못 하면 예산은 끊깁니다.

4. 담당자를 지정했다 "모두의 일"은 아무의 일도 아닙니다. 에이전트의 성과에 책임지는 사람이 있는 곳만 운영까지 갔습니다.

정부 지침도 같은 방향을 가리킵니다. 싱가포르 정보통신미디어개발청(IMDA)이 개발해 2026년 1월 다보스 세계경제포럼에서 공개한 에이전틱 AI 거버넌스 프레임워크는 에이전트의 자율성과 도구·데이터 접근 범위를 미리 제한하고, 사람의 승인이 필요한 지점을 정해 두라고 권고합니다. 그리고 최종 책임은 결국 사람에게 있다는 원칙을 분명히 했습니다.

중소기업에게 오히려 유리한 국면

거대한 예산으로 여러 실험을 동시에 벌인 대기업들이 지금 프로젝트를 정리하고 있습니다. 열풍의 거품이 빠지는 중입니다.

작은 회사에게 이건 나쁜 소식이 아닙니다. 우리는 애초에 딱 하나의 문제에 집중할 수밖에 없습니다. 좁게 시작하고, 수치로 확인하고, 되는 것만 키우는 방식 — 지금 살아남은 회사들이 한 그 방식은, 원래 중소기업이 잘할 수 있는 방식입니다.

'샀다'와 '일하게 만들었다'의 차이

에이전트는 사는 물건이 아닙니다. 일하게 만드는 과정입니다.

1년의 실험이 우리에게 남긴 교훈은 단순합니다. 화려한 데모에 설득당하지 말고, 좁은 문제 하나를 골라, 현재 수치를 재고, 담당자를 정하고, 규칙을 먼저 적어라.

열풍은 지나갔습니다. 이제 남은 것은, 조용히 일하는 에이전트를 가진 회사들뿐입니다.