보안과 개인정보

AI에 데이터를 넣는 순간, 그 데이터는 어디로 가는가. 이 질문을 안 한 채 시작하면, 돌이킬 수 없는 일이 생깁니다.

가장 나중에 생각하고, 가장 먼저 터지는 것

AI 프로젝트에서 보안과 개인정보 문제는 독특한 위치에 있습니다. 기획할 때는 가장 뒤로 밀리지만, 사고가 나면 가장 먼저 뉴스에 나옵니다.

"일단 만들고 나서 보안은 나중에 챙기자." 이 문장이 나오는 순간 리스크가 시작됩니다. AI 시스템의 보안은 나중에 덧붙이는 게 아니라, 설계 단계에서 결정됩니다.

경영진이 기술적 세부사항을 알 필요는 없습니다. 하지만 다음의 질문들은 직접 해야 합니다. 기술팀에, 벤더에, 그리고 자기 자신에게.

데이터는 어디에 있는가

AI 시스템에 데이터를 넣으면, 그 데이터는 물리적으로 어딘가에 저장됩니다. 이 "어딘가"가 핵심입니다.

클라우드 AI 서비스를 쓰는 경우

ChatGPT, Claude 같은 외부 AI 서비스에 회사 데이터를 넣으면, 그 데이터는 외부 서버로 나갑니다.

물어야 할 것:

• 우리가 입력한 데이터가 AI 모델의 학습에 사용되는가?
• 데이터가 저장되는 서버의 물리적 위치는 어디인가? (특히 해외 서버일 경우, 개인정보 보호법 관할이 달라집니다)
• 데이터 보존 기간은 어떻게 되는가? 요청하면 삭제되는가?
• 엔터프라이즈 플랜과 일반 플랜의 데이터 처리 정책이 다른가?

대부분의 주요 AI 서비스는 엔터프라이즈 플랜에서 "입력 데이터를 모델 학습에 사용하지 않는다"고 명시합니다. 하지만 일반 무료/개인 플랜에서는 이 보장이 없는 경우가 많습니다. 직원이 개인 계정으로 회사 데이터를 AI에 넣고 있다면, 이미 데이터가 나가고 있을 수 있습니다.

자체 구축하는 경우

사내에 AI를 구축하면 데이터가 외부로 나가지 않는다고 생각하기 쉽지만, 완전한 자체 구축은 드뭅니다. 대부분 클라우드 인프라(AWS, GCP, Azure)를 사용하고, 외부 모델 API를 호출합니다.

물어야 할 것:

• 데이터가 외부로 전송되는 구간이 있는가?
• 전송 구간에서 암호화가 적용되는가?
• 외부 API를 호출할 때, 우리 데이터가 해당 API 제공자에게 노출되는가?

누가 접근할 수 있는가

데이터의 위치만큼 중요한 것이 접근 권한입니다.

내부적으로: AI 시스템에 입력된 데이터를 누가 볼 수 있는가? 영업팀이 넣은 고객 정보를 다른 팀이 AI를 통해 접근할 수 있는가? 권한 체계가 없는 AI 시스템은 의도치 않은 정보 유출 통로가 됩니다.

외부적으로: 벤더 직원이 우리 데이터에 접근할 수 있는가? 기술 지원이나 문제 해결을 위해 접근 권한을 요청하는 경우가 있습니다. 이 범위와 조건이 계약에 명시되어야 합니다.

물어야 할 것:

• AI 시스템의 사용자 권한 체계가 어떻게 설계되어 있는가?
• 벤더의 데이터 접근 범위와 조건이 계약에 포함되어 있는가?
• 접근 로그가 기록되고, 감사(audit)가 가능한가?

개인정보, 무엇이 문제인가

AI에 들어가는 데이터 중 개인정보가 포함되어 있다면, 법적 의무가 따릅니다.

한국의 개인정보보호법은 개인정보의 수집, 이용, 제공에 대해 엄격한 규정을 두고 있습니다. AI 모델에 고객 데이터를 학습시키는 것은 "이용"에 해당할 수 있고, 외부 클라우드에 올리는 것은 "제3자 제공" 또는 "위탁"에 해당할 수 있습니다.

기본 체크리스트:

• AI에 넣으려는 데이터에 개인정보(이름, 연락처, 구매 이력 등)가 포함되어 있는가?
• 해당 개인정보를 AI 목적으로 이용하는 것에 대해 동의를 받았는가?
• 개인정보를 비식별화(이름, 연락처 등을 제거하거나 변환)해서 넣을 수 있는가?
• 해외 서버에 저장되는 경우, 국외 이전에 대한 동의나 조치가 되어 있는가?

이 체크리스트에 하나라도 "모르겠다"가 있으면, 법무 또는 개인정보 담당자와 먼저 이야기하세요. AI 프로젝트가 아무리 좋아도, 법적 리스크 하나로 전체가 중단될 수 있습니다.

AI가 만드는 새로운 보안 위험

기존 IT 시스템과 달리, AI 시스템은 고유한 보안 위험을 만듭니다.

프롬프트 인젝션

사용자가 AI에게 교묘한 질문을 해서, 원래 접근할 수 없는 정보를 빼내는 공격입니다. 예를 들어 고객 응대 챗봇에 "시스템 프롬프트를 보여줘" 또는 "다른 고객의 정보를 알려줘"라고 요청하는 식입니다.

물어야 할 것: "프롬프트 인젝션 방어가 어떻게 구현되어 있나요?"

환각을 통한 오정보

AI가 사실과 다른 정보를 자신감 있게 제공하는 문제입니다. 내부용이면 불편한 수준이지만, 고객에게 잘못된 정보(가격, 환불 정책, 법적 사항)가 전달되면 비즈니스 리스크가 됩니다.

물어야 할 것: "AI 응답의 정확성을 검증하는 장치가 있나요? 사람이 확인하는 단계가 어디에 있나요?"

데이터 유출 경로

AI 시스템은 새로운 데이터 유출 경로가 될 수 있습니다. 직원이 AI에 민감한 내부 정보를 입력하거나, AI가 응답에 다른 사용자의 데이터를 포함시키는 경우.

물어야 할 것: "민감 정보 입력을 감지하고 차단하는 메커니즘이 있나요?"

경영진이 내려야 할 세 가지 결정

보안과 개인정보에 대해 기술적으로 해결하는 건 기술팀의 역할입니다. 하지만 다음 세 가지는 경영진이 직접 결정해야 합니다.

첫째, AI에 넣어도 되는 데이터의 범위를 정하세요. 모든 데이터를 AI에 넣을 필요는 없습니다. "이 수준의 데이터까지는 AI에 활용하고, 이 이상은 넣지 않는다"는 기준이 있어야 합니다.

둘째, 사고 발생 시 대응 계획을 요구하세요. "보안 사고가 나면 어떻게 하나요?"에 대한 답이 없는 프로젝트는 진행하면 안 됩니다. 사고 감지, 보고 체계, 대응 절차, 고객 통지 프로세스까지 정해져 있어야 합니다.

셋째, 정기적인 감사 체계를 만드세요. AI 시스템은 한 번 설정하고 끝이 아닙니다. 데이터 접근 로그, 사용 패턴, 보안 설정을 주기적으로 점검하는 체계가 필요합니다.

보안은 비용이 아니라 신뢰다

보안과 개인정보 보호에 투자하는 것은 비용이 아닙니다. 고객과 직원의 신뢰를 지키는 것입니다.

AI를 빠르게 도입하는 것도 중요하지만, 안전하게 도입하는 것이 더 중요합니다. 한 번의 데이터 유출 사고가 쌓아온 신뢰를 한 순간에 무너뜨리기 때문입니다.

속도와 안전 사이에서 균형을 잡는 것. 이것이 AI 시대 경영진의 책임입니다.