AI가 '그대로는 안 됩니다'라고 할 때 — 안 되는 이유를 쪼개고 대신 잴 것 찾기 (1)
AI나 데이터 담당자가 그대로는 안 된다고 답하면 대개 거기서 프로젝트가 멈춥니다. 하지만 그 대답은 끝이 아니라 문제를 다시 정의할 출발점일 수 있습니다. 안 되는 이유를 데이터·규정·정확도 세 가지로 쪼개는 법과, 직접 못 재는 것을 함께 움직이는 값으로 재는 대리 지표 활용법을 OpenAI 판별기 중단, 서울시 심야버스, 전력 데이터 안부 확인, 위성 빈곤 지도 사례로 정리했습니다.
"그대로는 안 됩니다"는 거절이 아니라 질문이 잘못 놓였다는 신호일 때가 많습니다. 그 대답 다음에 무엇을 묻느냐가 프로젝트의 운명을 가릅니다.
회의실이 조용해지는 순간
AI 도입 회의에서 가장 흔하게 프로젝트가 멈추는 장면이 있습니다. 담당자가 이렇게 말할 때입니다. "지금 데이터로는 안 됩니다." "그 정확도는 못 냅니다." 요즘은 AI가 직접 그렇게 답하기도 합니다. 시킨 일을 해 보기도 전에 "이 방식으로는 원하는 결과가 나오지 않습니다"라고 먼저 말하기도 합니다.
이 순간 회의실은 두 갈래로 갈립니다. 한쪽은 "그럼 접읍시다"로 끝나고, 다른 쪽은 "그럼 되게 만들어 보세요"로 밀어붙입니다. 둘 다 아쉬운 선택입니다. 앞쪽은 풀 수 있었던 문제를 버리고, 뒤쪽은 되는 척하는 결과물을 만들어 냅니다.
저희가 권하는 것은 세 번째 길입니다. "안 된다"는 대답을 받으면 무엇이 안 되는지 쪼개고, 그 자리에 풀 수 있는 질문을 다시 놓는 것입니다. 이번 편은 그 첫 두 걸음, 이유를 쪼개는 법과 대신 잴 값을 찾는 법을 다룹니다.
원칙 1. "안 된다"를 세 가지로 쪼개십시오
"안 된다"는 한 덩어리처럼 들리지만 이유는 대개 셋 중 하나입니다.
- 데이터가 그 정밀도를 담고 있지 않다. 해상도·빈도·양이 모자란 경우입니다. 한 칸이 10m인 무료 위성 사진으로 사람 크기의 물체를 찾으라는 요청이 여기에 해당합니다.
- 해도 되는지가 문제다. 법·윤리·보안 때문에 만들 수는 있어도 내놓으면 안 되는 경우입니다.
- 되긴 하는데 업무 기준에 못 미친다. 정확도가 사람이 믿고 쓸 수준이 아닌 경우입니다.
세 번째 유형의 대표적인 예가 OpenAI의 AI 작성 글 판별기입니다. OpenAI는 2023년 1월 사람이 쓴 글과 AI가 쓴 글을 가려내는 분류기를 공개하면서, 이 도구가 AI가 쓴 글의 26%만 "AI가 썼을 가능성이 높다"고 맞히고 사람이 쓴 글의 9%를 AI가 쓴 것으로 잘못 표시한다고 스스로 밝혔습니다. 그리고 같은 해 7월 20일 낮은 정확도를 이유로 서비스를 중단하면서, 글의 출처를 확인하는 더 효과적인 방법을 연구하겠다고 덧붙였습니다. "다 쓴 글을 보고 판별한다"는 질문에서 "만들 때부터 출처를 남긴다"는 질문으로 옮겨 갔습니다.


이유를 쪼개 놓으면 대응도 갈립니다. 첫째 유형은 대신 잴 것을 찾고, 둘째 유형은 범위를 줄이고, 셋째 유형은 사람이 검토하는 자리를 넣거나 질문을 바꿉니다. 어떤 일은 끝까지 안 되기도 합니다. 그 판단 기준은 AI가 안 되는 일에서 따로 정리했습니다.
원칙 2. 직접 못 재면, 같이 움직이는 것을 재십시오
데이터가 없다는 대답의 상당수는 "그 값을 직접 기록한 데이터가 없다"는 뜻입니다. 그럴 때는 그 값과 함께 움직이면서 이미 어딘가에 쌓이고 있는 값을 찾으면 됩니다. 이를 대리 지표라고 부릅니다.
서울시 심야버스. 2013년 서울시가 심야버스 노선을 정할 때 손에 쥔 데이터 가운데 "자정 이후 누가 어디서 어디로 가려 하는가"를 직접 기록한 것은 없었습니다. 서울시는 그 대신 KT가 제공한 자정부터 새벽 5시까지의 휴대전화 통화량 30억 건을 분석해 심야에 사람이 몰리는 곳을 찾고 노선을 정했습니다. 이동 수요를 직접 재는 대신 그 시간에 사람이 머무는 흔적을 쟀습니다.
전력 데이터로 하는 안부 확인. 혼자 사는 어르신의 안부를 살피려면 보통 손목 밴드나 센서를 달아야 합니다. SK텔레콤과 한국전력이 함께 개발한 1인 가구 안부 살핌 서비스는 가정의 전력 사용 패턴을 AI로 분석하고 통화·문자·데이터 사용 여부와 결합해, 평소와 다른 이상 징후가 보이면 복지 담당자에게 알립니다. 따로 기기를 달 필요가 없어 운영 비용이 낮고, 쓰는 사람이 생활 방식을 바꿀 필요도 없습니다. 생활 자체를 재는 대신 생활이 남기는 전기 사용의 흔적을 봅니다.
위성 사진으로 그린 빈곤 지도. 해외에도 같은 방식이 있습니다. 2016년 스탠퍼드대 연구진이 사이언스에 발표한 연구는 아프리카에서 빈곤 조사 자체가 드물다는 문제에서 출발했습니다. 논문에 따르면 2000~2010년 아프리카 59개국 가운데 39개국이 전국 단위 빈곤 조사를 두 번도 하지 못했습니다. 연구진은 먼저 낮 위성 사진으로 밤의 불빛 밝기를 맞히도록 신경망을 학습시켜 도로·지붕·농지 같은 특징을 익히게 하고, 그 특징으로 마을 단위의 소비 수준과 자산을 추정했습니다. 공개 데이터만으로 나이지리아·탄자니아 등 다섯 나라 지역 경제 지표 변동의 최대 75%를 설명했습니다.
세 사례 모두 같은 질문을 던졌습니다. "알고 싶은 그것이 일어날 때, 이미 어딘가에 기록되는 다른 값은 무엇인가."
| 사례 | 알고 싶은 것 | 대신 잰 값 |
|---|---|---|
| 서울시 심야버스 (2013) | 자정 이후 누가 어디서 어디로 가려 하는가 | 자정부터 새벽 5시까지의 휴대전화 통화량 30억 건 |
| 1인 가구 안부 살핌 | 혼자 사는 어르신의 생활에 이상이 있는가 | 가정의 전력 사용 패턴과 통화·문자·데이터 사용 여부 |
| 위성 빈곤 지도 (2016) | 마을 단위의 소비 수준과 자산 | 밤 불빛 밝기를 맞히도록 학습한 낮 위성 사진의 특징 |
우리 회사에서 대리 지표 찾기
사내에서도 똑같이 물을 수 있습니다. 고객 만족도를 직접 못 재면 재주문 간격과 문의 내용을, 설비 상태를 직접 못 보면 전력 사용량과 소음을 봅니다. 출입 기록, 배송 조회 기록, 견적 요청 메일처럼 원래 다른 목적으로 쌓던 값이 뜻밖의 답이 되는 경우가 많습니다.
좋은 대리 지표인지 가리는 기준은 하나입니다. 원래 알고 싶은 것과 어떤 경로로 연결되는지 한 문장으로 설명할 수 있어야 합니다. "심야에 통화가 많은 곳에는 그 시간에 사람이 있다"처럼 경로가 분명하면 쓸 만하고, "왠지 같이 움직이는 것 같다"에 그치면 위험합니다. 그런 값이 우리 회사 어디에 쌓여 있는지는 우리 회사 데이터, AI에 쓸 수 있는 상태인가의 점검표로 찾아볼 수 있습니다.
정리하면
"그대로는 안 됩니다"라는 대답은 대개 정직한 대답입니다. 그 정직함을 프로젝트 중단으로 받을지, 문제를 다시 놓는 출발점으로 받을지는 듣는 쪽이 정합니다.
먼저 안 되는 이유를 데이터·규정·정확도로 쪼개고, 직접 못 재는 것은 함께 움직이는 값으로 재십시오. 이 두 걸음만으로도 멈춘 프로젝트의 상당수가 다시 움직입니다.
다음 편에서는 한 걸음 더 나아가 질문 자체를 바꾸는 법과, 바꾼 질문이 원래 목적에서 얼마나 멀어졌는지 재는 법을 다룹니다.
「AI가 '그대로는 안 됩니다'라고 할 때」 연재
- 안 되는 이유를 쪼개고 대신 잴 것 찾기 (현재 글)
- 질문을 바꾸고, 멀어진 거리를 재기