데이터를 밖으로 내보내지 않는 AI — 온프레미스와 데이터 주권
문서를 붙여 넣고 요약을 받는 건 흔한 일이지만, 그 문서가 고객 명단이나 미공개 재무자료라면 이야기가 다릅니다. 그 자료는 이미 남의 서버로 갔습니다. 클라우드 AI에 넣은 데이터가 어디로 가는지, 어떤 회사는 왜 데이터를 밖에 못 내보내는지, 온프레미스와 중간 지대 선택지를 규제와 비용 관점에서 정리합니다.
AI에게 자료를 넣는 순간, 그 자료는 어디로 가는 걸까요?
편리함 뒤의 질문
AI에 문서를 붙여 넣고 요약을 받는 일은 이제 흔합니다. 그런데 그 문서가 고객 명단이라면, 미공개 재무자료라면, 잠깐 멈칫하게 됩니다.
그 자료는 지금 남의 서버로 갔습니다. 대부분은 안전하게 처리되지만, "대부분"으로는 부족한 회사들이 있습니다.
실제로 네덜란드 개인정보보호청(AP)은 2024년 8월, 직원이 회사와의 약속을 어기고 AI 챗봇에 개인정보를 입력해 생긴 데이터 유출 신고가 여러 건 접수됐다고 밝혔습니다. 한 가정의원에서는 직원이 환자 의료 데이터를 챗봇에 넣었고, 한 통신사에서는 고객 주소가 담긴 파일이 입력됐습니다. 당국은 챗봇 운영사 대부분이 입력된 데이터를 모두 저장한다고 경고했습니다.
보안과 개인정보 편의 원칙을, 이번엔 데이터가 물리적으로 어디에 있는가라는 관점에서 다시 봅니다.
클라우드 AI = 데이터가 밖으로 나간다
대부분의 AI 서비스는 클라우드에 있습니다. 우리가 넣은 글은 인터넷을 건너 제공사의 서버에서 처리되고, 답이 돌아옵니다.
여기서 두 가지를 반드시 확인해야 합니다.
1. 학습에 쓰이는가 — 내 자료가 AI를 더 똑똑하게 만드는 데 쓰이면, 남의 답에 내 정보가 새어 나갈 수 있습니다. 많은 기업용 옵션은 "학습에 쓰지 않음"을 계약으로 보장합니다. 확인하세요.
2. 어디에, 얼마나 저장되는가 — 처리 후 바로 지우는지, 며칠 보관하는지, 어느 나라 서버인지. 규제 산업에서는 이 하나하나가 문제가 됩니다.
데이터 위치는 대형 클라우드 사업자들이 별도 상품으로 내놓을 만큼 중요한 조건이 됐습니다. 마이크로소프트는 2025년 2월 EU 데이터 경계(EU Data Boundary)를 완성했다고 발표했습니다. Microsoft 365, Dynamics 365, Power Platform과 대부분의 Azure 서비스에서 유럽 고객 데이터를 EU·EFTA 지역 안에서 저장·처리하도록 한 것으로, 수백 개 제품팀이 여러 해 매달린 작업이었습니다.
밖으로 내보내면 안 되는 자료
대부분의 업무는 클라우드로 충분합니다. 하지만 다음에 해당하면 이야기가 다릅니다.
규제가 강한 산업 — 의료 기록, 금융 거래, 법률 문서. AI 기본법이 말하는 고영향 영역과 겹칩니다. 극단적 민감 정보 — 유출 한 번에 회사가 흔들리는 영업비밀, 대량 개인정보. 계약상 의무 — 고객이 "우리 데이터는 외부 AI에 넣지 말라"고 명시한 경우.
국내 금융권이 대표적인 예입니다. 금융위원회는 2024년 8월 「금융분야 망분리 개선 로드맵」을 발표하며, 인터넷 등 외부 통신 제한 때문에 생성형 AI 도입이 막혀 있던 금융회사에 규제샌드박스로 활용을 허용하기로 했습니다. 다만 보안대책을 조건으로 부과하고, 개인신용정보를 직접 처리하는 단계는 가명정보를 쓰는 1단계 샌드박스의 안전성이 검증된 뒤로 미뤘습니다.
이때 선택지가 온프레미스, 즉 데이터를 밖으로 내보내지 않고 우리 통제 안에서 AI를 돌리는 방식입니다.
온프레미스의 값어치와 대가
온프레미스는 데이터 주권을 줍니다. 자료가 우리 울타리를 벗어나지 않습니다. 대신 대가가 있습니다.
비용 — 성능 좋은 AI를 직접 돌리려면 서버와 장비가 필요합니다. 초기 투자가 큽니다. 성능 — 직접 돌리는 모델은 최고급 클라우드 AI보다 대개 한 수 아래입니다. 유지보수 — 업데이트, 장애 대응, 관리 인력이 계속 듭니다.
즉 온프레미스는 "안전한 대신 비싸고 손이 많이 가는" 선택입니다. 무엇을 안에 두고 무엇을 밖에 맡길지의 판단이 그대로 적용됩니다.
대부분에게 정답은 '중간 지대'
다행히 흑백만 있는 게 아닙니다.
학습 금지 계약 — 클라우드를 쓰되, 내 자료를 학습에 쓰지 않고 짧게만 보관하도록 계약으로 못 박습니다. 민감정보 가리기 — 이름·주민번호 같은 식별 정보를 지운 뒤 AI에 넣습니다. 격리된 환경 — 제공사가 우리 전용으로 분리해 주는 공간을 씁니다.
대부분의 중소기업에게는 이 중간 지대가 현실적인 답입니다. 데이터를 통째로 안에 가두지 않아도, 통제권은 확보할 수 있습니다. 자료를 밖으로 내보내지 않고 우리 안에 쌓아 AI에 소환하는 방법은 기록형 AI 업무법 시리즈에서 더 자세히 다룹니다.
질문을 바꾸세요
"온프레미스냐 클라우드냐"는 좋은 첫 질문이 아닙니다.
먼저 물어야 할 것은 "이 자료는 밖으로 나가도 되는가?"입니다. 나가도 되는 자료는 클라우드로 편하게, 나가면 안 되는 자료만 따로 지키면 됩니다.
데이터 주권은 전부 아니면 전무가 아닙니다. 자료마다 등급을 매기는 일에서 시작합니다.