AI는 왜 어제를 잊는가 — 세션의 망각과 맥락 비용 (1)

어제 한참을 설명해 겨우 손발을 맞춘 AI가, 오늘 다시 열면 아무것도 모르는 얼굴을 하고 있습니다.

매번 처음부터 설명하고 있다면

AI와 진지하게 일해 본 사람은 금방 같은 벽에 부딪힙니다. 어제는 프로젝트 배경을 설명하고, 데이터 위치를 알려 주고, 지난 결정을 짚어 주고 나서야 제대로 된 답이 나왔습니다. 그런데 오늘 다시 열면 그 AI는 어제 일을 하나도 기억하지 못합니다.

• 프로젝트 배경을 세션마다 다시 설명합니다.
• 지난주에 반나절 걸려 찾은 원인을, 이번 주에 처음부터 다시 조사합니다.
• 분석 결과는 터미널 스크롤 어딘가에, 결정한 이유는 머릿속에만 남습니다.
• AI와 한 일이 팀에는 전달되지 않습니다.

세션이 끝나는 순간, 그 세션에서 알게 된 것이 통째로 사라지기 때문입니다.

고장이 아니라, 원리다

이걸 버그로 오해하면 대응을 그르칩니다. 대화형 AI는 한 세션의 문맥 창(context window) 안에서만 대화를 기억합니다. 세션이 끝나면 그 창이 비워지고, 다음 세션은 백지에서 시작합니다. Anthropic의 Claude Code 공식 문서도 "각 세션은 새 문맥 창에서 시작한다"고 못 박습니다.

그래서 업계는 이 망각을 메우려 애써 왔습니다. 검색으로 외부 지식을 끌어와 답하게 하는 검색 증강 생성(RAG)이 2020년 논문으로 정립됐고, OpenAI는 2024년 2월 ChatGPT에 메모리 기능을 붙였으며, Anthropic도 2025년 10월 Claude에 대화를 가로지르는 기억을 추가했습니다. 하나같이 "세션이 끝나도 잊지 않게 하는" 장치입니다. 뒤집어 말하면, 아무 장치 없이 쓰는 기본 상태의 AI는 어제를 기억하지 못한다는 뜻입니다.

망각은 공짜가 아니다

이 망각에는 값이 붙습니다. 사람 쪽 연구부터 보겠습니다.

• 지식 노동자는 업무 시간의 약 19퍼센트를 정보를 찾고 모으는 데 씁니다(맥킨지 글로벌 연구소, The Social Economy, 2012).
• 지식이 제때 공유되지 않아 생기는 손실은 대기업 한 곳 기준 연 4700만 달러, 직원 1인당 주 5.3시간에 이릅니다(Panopto·YouGov 조사, 2018).
• 한 번 끊긴 작업으로 되돌아오는 데 평균 약 25분이 걸린다는 연구도 있습니다(Mark, González & Harris, CHI 2005).

AI와 일할 때 매 세션 배경을 다시 설명하는 시간은, 그대로 이 맥락 비용 위에 얹힙니다. 게다가 지금은 그 AI를 쓰는 사람이 급격히 늘고 있습니다. 국내 임금근로자의 생성형 AI 활용률은 중소기업 52.7퍼센트, 대기업 66.5퍼센트로 조사됐고(대한상공회의소, 2026), 국민 생성형 AI 경험률도 44.5퍼센트까지 올라왔습니다(과기정통부, 2025). 쓰는 사람이 많아질수록, 망각이 만드는 낭비도 같이 커집니다.

발상을 뒤집는다 — AI는 못 외워도, 읽을 수는 있다

해법은 AI에게 더 좋은 기억력을 기대하는 쪽이 아닙니다. 읽을 수 있는 곳에, 읽을 만한 형태로 남겨 두는 쪽입니다. 규칙은 규칙 파일에, 교훈은 메모리에, 오늘 한 일은 노트에, 팀이 알아야 할 결론은 위키에 적어 둡니다. 그러면 매 세션이 백지가 아니라 지난 세션의 끝에서 다시 출발합니다.

핵심은 도구가 아니라 습관 세 가지입니다.

• 규칙은 한곳에 — "항상 이렇게 일하라"를 한 파일에 모아, AI가 시작할 때 스스로 읽게 합니다.
• 끝날 때마다 기록 — 일 하나가 끝날 때마다 원인·조치·수치·결정을 남깁니다.
• 시작할 때 읽기 — "○○ 이어서 하자" 한마디로, 지난 기록에서 필요한 것만 골라 읽게 합니다.

이 방식은 전담 인력 없이 AI를 운영할 때 특히 힘을 발휘합니다. 사람이 일일이 붙어 있지 않아도 맥락이 새지 않기 때문입니다.

이어지는 이야기

다음 편부터 습관 하나씩을 국내외 사례와 함께 뜯어봅니다. 먼저 규칙을 한 파일에 모으는 법입니다. 비슷한 내용을 실무자의 하루를 따라가며 더 이야기하듯 풀어낸 다른 연재도 있습니다.

더 깊은 활용 사례나 팀에 맞춘 퀵스타트 가이드가 필요하시다면, 문의하기로 편하게 연락 주세요. 실제 도입 환경에 맞춰 정리해 드립니다.

---

「AI를 기억하는 동료로 쓰는 법」 시리즈

1. AI는 왜 어제를 잊는가 — 세션의 망각과 맥락 비용 (현재 글)
2. 규칙은 한곳에 — AI 규칙 파일 쓰는 법
3. 하나의 파일에 하나의 사실 — 자동 메모리
4. 다음 세션의 나에게 — 데일리 노트와 인수인계
5. 팀의 언어로 승격 — 트래커·위키·Git
6. 함정과 4주 도입 로드맵