보안과 개인정보
AI에 데이터를 넣는 순간, 그 데이터는 물리적으로 어딘가에 저장됩니다. 보안은 기획에서 가장 뒤로 밀리지만 사고가 나면 가장 먼저 뉴스에 오릅니다. 경영진이 기술팀과 벤더, 그리고 자기 자신에게 반드시 물어야 할 질문들과 직접 내려야 할 세 가지 결정을 정리합니다. 미루면 비용이 커집니다.
AI에 데이터를 넣는 순간, 그 데이터는 어디로 가는가. 이 질문을 안 한 채 시작하면, 돌이킬 수 없는 일이 생깁니다.
가장 나중에 생각하고, 가장 먼저 터지는 것
AI 프로젝트에서 보안과 개인정보 문제는 독특한 위치에 있습니다. 기획할 때는 가장 뒤로 밀리지만, 사고가 나면 가장 먼저 뉴스에 나옵니다.
"일단 만들고 나서 보안은 나중에 챙기자." 이 문장이 나오는 순간 리스크가 시작됩니다. AI 시스템의 보안은 나중에 덧붙이는 게 아니라, 설계 단계에서 결정됩니다.
경영진이 기술적 세부사항을 알 필요는 없습니다. 하지만 다음의 질문들은 직접 해야 합니다. 기술팀에, 벤더에, 그리고 자기 자신에게.
데이터는 어디에 있는가
AI 시스템에 데이터를 넣으면, 그 데이터는 물리적으로 어딘가에 저장됩니다. 이 "어딘가"가 핵심입니다.
클라우드 AI 서비스를 쓰는 경우
ChatGPT, Claude 같은 외부 AI 서비스에 회사 데이터를 넣으면, 그 데이터는 외부 서버로 나갑니다.
물어야 할 것:
- 우리가 입력한 데이터가 AI 모델의 학습에 사용되는가?
- 데이터가 저장되는 서버의 물리적 위치는 어디인가? (특히 해외 서버일 경우, 개인정보 보호법 관할이 달라집니다)
- 데이터 보존 기간은 어떻게 되는가? 요청하면 삭제되는가?
- 엔터프라이즈 플랜과 일반 플랜의 데이터 처리 정책이 다른가?
대부분의 주요 AI 서비스는 엔터프라이즈 플랜에서 "입력 데이터를 모델 학습에 사용하지 않는다"고 명시합니다. 하지만 일반 무료/개인 플랜에서는 이 보장이 없는 경우가 많습니다. 직원이 개인 계정으로 회사 데이터를 AI에 넣고 있다면, 이미 데이터가 나가고 있을 수 있습니다.
이런 상황을 섀도 AI(회사가 승인하지 않은 AI 사용)라고 부릅니다. IBM의 2025년 데이터 유출 비용 보고서에 따르면 조사 대상 조직 5곳 중 1곳이 섀도 AI로 인한 침해를 겪었고, 섀도 AI 사용 수준이 높은 조직은 그렇지 않은 조직보다 유출 비용이 평균 67만 달러 더 들었습니다.
자체 구축하는 경우
사내에 AI를 구축하면 데이터가 외부로 나가지 않는다고 생각하기 쉽지만, 완전한 자체 구축은 드뭅니다. 대부분 클라우드 인프라(AWS, GCP, Azure)를 사용하고, 외부 모델 API를 호출합니다.
물어야 할 것:
- 데이터가 외부로 전송되는 구간이 있는가?
- 전송 구간에서 암호화가 적용되는가?
- 외부 API를 호출할 때, 우리 데이터가 해당 API 제공자에게 노출되는가?
누가 접근할 수 있는가
데이터의 위치만큼 중요한 것이 접근 권한입니다.
내부적으로: AI 시스템에 입력된 데이터를 누가 볼 수 있는가? 영업팀이 넣은 고객 정보를 다른 팀이 AI를 통해 접근할 수 있는가? 권한 체계가 없는 AI 시스템은 의도치 않은 정보 유출 통로가 됩니다.
외부적으로: 벤더 직원이 우리 데이터에 접근할 수 있는가? 기술 지원이나 문제 해결을 위해 접근 권한을 요청하는 경우가 있습니다. 이 범위와 조건이 계약에 명시되어야 합니다.
물어야 할 것:
- AI 시스템의 사용자 권한 체계가 어떻게 설계되어 있는가?
- 벤더의 데이터 접근 범위와 조건이 계약에 포함되어 있는가?
- 접근 로그가 기록되고, 감사(audit)가 가능한가?
개인정보, 무엇이 문제인가
AI에 들어가는 데이터 중 개인정보가 포함되어 있다면, 법적 의무가 따릅니다.
한국의 개인정보보호법은 개인정보의 수집, 이용, 제공에 대해 엄격한 규정을 두고 있습니다. AI 모델에 고객 데이터를 학습시키는 것은 "이용"에 해당할 수 있고, 외부 클라우드에 올리는 것은 "제3자 제공" 또는 "위탁"에 해당할 수 있습니다.
기본 체크리스트:
- AI에 넣으려는 데이터에 개인정보(이름, 연락처, 구매 이력 등)가 포함되어 있는가?
- 해당 개인정보를 AI 목적으로 이용하는 것에 대해 동의를 받았는가?
- 개인정보를 비식별화(이름, 연락처 등을 제거하거나 변환)해서 넣을 수 있는가?
- 해외 서버에 저장되는 경우, 국외 이전에 대한 동의나 조치가 되어 있는가?
이 문제는 이론이 아닙니다. 2025년 개인정보보호위원회는 중국 AI 서비스 딥시크가 이용자 동의 없이 개인정보를 중국·미국 소재 회사로 이전했고, 이용자가 프롬프트에 입력한 내용까지 외부 회사로 전송했다고 발표하며 이미 이전된 입력 내용을 즉시 파기하라고 시정권고했습니다(대한민국 정책브리핑, 2025.4.24). 직원이 무심코 입력한 한 줄도 국외 이전 대상이 될 수 있다는 뜻입니다.
이 체크리스트에 하나라도 "모르겠다"가 있으면, 법무 또는 개인정보 담당자와 먼저 이야기하세요. AI 프로젝트가 아무리 좋아도, 법적 리스크 하나로 전체가 중단될 수 있습니다.
AI가 만드는 새로운 보안 위험
기존 IT 시스템과 달리, AI 시스템은 고유한 보안 위험을 만듭니다.
프롬프트 인젝션
사용자가 AI에게 교묘한 질문을 해서, 원래 접근할 수 없는 정보를 빼내는 공격입니다. 예를 들어 고객 응대 챗봇에 "시스템 프롬프트를 보여줘" 또는 "다른 고객의 정보를 알려줘"라고 요청하는 식입니다.
가볍게 볼 위험이 아닙니다. 국제 웹 보안 커뮤니티 OWASP는 LLM 애플리케이션 10대 보안 위험 2025년판에서 프롬프트 인젝션을 첫 번째 항목(LLM01)으로 꼽았습니다(OWASP).
물어야 할 것: "프롬프트 인젝션 방어가 어떻게 구현되어 있나요?"
환각을 통한 오정보
AI가 사실과 다른 정보를 자신감 있게 제공하는 문제입니다. 내부용이면 불편한 수준이지만, 고객에게 잘못된 정보(가격, 환불 정책, 법적 사항)가 전달되면 비즈니스 리스크가 됩니다.
물어야 할 것: "AI 응답의 정확성을 검증하는 장치가 있나요? 사람이 확인하는 단계가 어디에 있나요?"
데이터 유출 경로
AI 시스템은 새로운 데이터 유출 경로가 될 수 있습니다. 직원이 AI에 민감한 내부 정보를 입력하거나, AI가 응답에 다른 사용자의 데이터를 포함시키는 경우.
실제로 2023년 삼성전자에서는 엔지니어가 사내 소스코드를 ChatGPT에 올리는 사고가 있었고, 회사는 이후 사내 기기와 내부망에서 생성형 AI 사용을 금지했습니다(Bloomberg, 2023.5.2). 외부 서버로 나간 데이터는 회수하거나 삭제하기 어렵다는 것이 당시 회사가 밝힌 우려였습니다.
물어야 할 것: "민감 정보 입력을 감지하고 차단하는 메커니즘이 있나요?"
경영진이 내려야 할 세 가지 결정
보안과 개인정보에 대해 기술적으로 해결하는 건 기술팀의 역할입니다. 하지만 다음 세 가지는 경영진이 직접 결정해야 합니다.
첫째, AI에 넣어도 되는 데이터의 범위를 정하세요. 모든 데이터를 AI에 넣을 필요는 없습니다. "이 수준의 데이터까지는 AI에 활용하고, 이 이상은 넣지 않는다"는 기준이 있어야 합니다.
둘째, 사고 발생 시 대응 계획을 요구하세요. "보안 사고가 나면 어떻게 하나요?"에 대한 답이 없는 프로젝트는 진행하면 안 됩니다. 사고 감지, 보고 체계, 대응 절차, 고객 통지 프로세스까지 정해져 있어야 합니다.
셋째, 정기적인 감사 체계를 만드세요. AI 시스템은 한 번 설정하고 끝이 아닙니다. 데이터 접근 로그, 사용 패턴, 보안 설정을 주기적으로 점검하는 체계가 필요합니다. 무엇을 언제 어떻게 처리했는지 남겨두는 기록 습관이 감사의 토대가 됩니다. 이를 업무에 녹이는 방법은 기록형 AI 업무법 시리즈에서 다룹니다.
보안은 비용이 아니라 신뢰다
보안과 개인정보 보호에 투자하는 것은 비용이 아닙니다. 고객과 직원의 신뢰를 지키는 것입니다.
AI를 빠르게 도입하는 것도 중요하지만, 안전하게 도입하는 것이 더 중요합니다. 한 번의 데이터 유출 사고가 쌓아온 신뢰를 한 순간에 무너뜨리기 때문입니다.
속도와 안전 사이에서 균형을 잡는 것. 이것이 AI 시대 경영진의 책임입니다.