AI가 보고 듣고 만든다 — 멀티모달의 현재

AI가 글만 읽고 쓰던 시대는 끝났습니다. 이제 AI는 보고, 듣고, 그리고 만듭니다.

텍스트의 벽이 무너졌다

불과 2년 전까지 AI는 텍스트의 세계에 갇혀 있었습니다. 글을 읽고, 글을 쓰고, 글로 대답하는 것. 이미지가 필요하면 별도의 이미지 AI를, 음성이 필요하면 별도의 음성 AI를 써야 했습니다. 각각 다른 도구, 다른 방식, 다른 비용.

2025년, 이 벽이 무너졌습니다.

하나의 AI가 텍스트를 읽으면서 동시에 이미지를 보고, 음성을 듣고, 영상을 이해합니다. 그리고 텍스트로 답하는 것뿐 아니라, 이미지를 만들고, 음성을 생성하고, 영상을 편집합니다.

이것을 멀티모달 AI라고 부릅니다. 여러 감각(모달리티)을 동시에 다루는 AI.

실무에서 이것이 의미하는 것

기술적 설명보다 중요한 건, 이것이 일하는 방식을 어떻게 바꾸는가입니다.

사진 한 장이 보고서가 됩니다. 현장에서 시설물 사진을 찍어서 AI에 보내면, AI가 사진을 분석하고 상태를 판단하고, 점검 보고서 초안을 작성합니다. "3번 배관 연결부에 부식 흔적이 관찰됩니다. 6개월 이내 교체를 권장합니다." 사람이 사진을 보고 글로 옮기는 시간이 사라집니다.

회의가 끝나면 모든 것이 정리됩니다. 회의 녹음을 AI에 넘기면, 음성을 텍스트로 변환하고, 핵심 내용을 요약하고, 액션 아이템을 추출하고, 관련 데이터를 찾아서 함께 정리합니다. 1시간 회의에서 사람이 해야 할 후속 작업이 5분으로 줄어듭니다.

설명을 말하면 디자인이 나옵니다. "가을 느낌의 따뜻한 톤으로, 우리 제품을 중앙에 배치한 배너 이미지를 만들어줘"라고 말하면, 수 초 만에 여러 시안이 나옵니다. 마음에 드는 것을 골라서 "로고를 좌측 상단에 넣어줘"라고 수정 지시를 하면, 바로 반영됩니다. 디자이너가 아니어도 시각 콘텐츠를 만들 수 있습니다.

영상 속 내용을 AI가 이해합니다. 제품 시연 영상을 AI에 보여주면, 각 장면에서 무엇을 하는지 파악하고, 자막을 생성하고, 핵심 장면의 타임스탬프를 찍어줍니다. 20분짜리 영상에서 "제품의 핵심 기능을 설명하는 장면"만 뽑아달라고 하면, 해당 구간을 찾아줍니다.

업종별로 보는 실제 활용

제조업: 생산 라인의 CCTV 영상을 AI가 실시간으로 분석합니다. 불량 징후가 보이면 즉시 알림을 보냅니다. 사람이 모니터 앞에 앉아 눈으로 확인하던 일을 AI가 대신합니다.

의료: 의료 영상을 AI가 분석하여 이상 소견을 표시합니다. 의사는 AI가 표시한 부분을 중점적으로 확인하면 됩니다. 진단의 정확도가 올라가고, 판독 시간이 줄어듭니다.

부동산: 매물 사진을 업로드하면 AI가 공간을 분석하고, 면적을 추정하고, 상태를 평가하고, 매물 설명 문구를 자동 생성합니다. 중개사의 매물 등록 시간이 대폭 줄어듭니다.

교육: 강의 영상을 AI에 넣으면, 주제별로 챕터를 나누고, 핵심 개념을 정리하고, 퀴즈 문제까지 자동 생성합니다. 교육 콘텐츠 제작 비용이 크게 낮아집니다.

마케팅: 제품 사진 하나로 다양한 배경, 다양한 각도, 다양한 시즌의 마케팅 이미지를 대량 생성합니다. 촬영 없이도 시즌별 캠페인 비주얼을 만들 수 있습니다.

품질의 현재 — 어디까지 쓸 수 있는가

솔직하게 말하면, 멀티모달 AI의 품질은 영역에 따라 편차가 큽니다.

이미 실무 수준인 것:

• 이미지 이해 및 분석 (사진을 보고 내용을 설명하는 것)
• 음성 인식 및 텍스트 변환
• 텍스트 기반 이미지 생성 (마케팅, SNS 용도)
• 문서의 시각 자료 해석 (그래프, 표, 차트 읽기)

쓸 수 있지만 검토가 필요한 것:

• AI 생성 이미지의 세부 정확도 (손가락 개수, 텍스트 렌더링 등)
• 긴 음성의 화자 구분
• 복잡한 영상 내용의 요약

아직 보조 수준인 것:

• 영상 생성 (짧은 클립은 가능하나 품질 편차가 큼)
• 실시간 영상 분석의 정확도
• 미묘한 감정이나 뉘앙스의 음성 생성

핵심은 이겁니다. 완벽하지 않아도 "사람의 시간을 줄여주는 초안"으로서의 가치는 이미 충분합니다. AI가 만든 것을 사람이 다듬는 구조로 사용하면, 지금 당장 효과를 볼 수 있습니다.

비용은 얼마나 드는가

멀티모달 AI를 쓰는 비용도 빠르게 내려가고 있습니다.

이미지 분석/생성: ChatGPT Plus나 Claude Pro 구독에 포함. 별도 비용 없이 텍스트와 함께 사용 가능.

음성 인식: 월 수만 원의 서비스로 수십 시간 분량 처리 가능. 무료 도구도 존재.

영상 분석: 아직 비용이 높은 편이나, 짧은 영상(5분 이하) 분석은 월 구독 내에서 가능.

이미지/영상 생성: 기본적인 생성은 구독에 포함. 대량 생성이나 고품질은 추가 비용 발생.

중소기업 기준으로, 기존에 쓰고 있는 AI 구독(월 2~3만 원)을 그대로 활용하면서 멀티모달 기능을 추가로 쓸 수 있는 경우가 많습니다. 별도의 큰 투자 없이 시작할 수 있다는 뜻입니다.

시작하는 법

멀티모달 AI를 업무에 적용하는 가장 빠른 방법입니다.

1단계: 이미 쓰고 있는 AI에서 시작하세요. ChatGPT나 Claude에 이미지를 업로드하거나 음성 모드를 사용해보세요. 새로운 도구를 도입할 필요 없이, 기존 도구에서 멀티모달 기능을 활성화하면 됩니다.

2단계: "변환" 업무를 찾으세요. 사진을 글로 바꾸는 일, 음성을 텍스트로 바꾸는 일, 텍스트를 이미지로 바꾸는 일 — 이런 "변환" 작업이 여러분 업무에 있다면, 그것이 멀티모달 AI의 첫 번째 적용 지점입니다.

3단계: 품질을 확인하고 범위를 넓히세요. 처음에는 내부용으로만 쓰면서 AI 결과물의 품질을 확인합니다. 충분하다고 판단되면 외부용(고객, 파트너)으로 범위를 넓힙니다.

텍스트 시대의 끝, 감각의 시대의 시작

AI가 글만 다루던 시대에는, AI 활용의 범위가 "글을 쓰는 업무"에 한정되었습니다. 멀티모달 AI는 이 한계를 깨뜨립니다.

현장에서 사진을 찍는 일, 회의에서 대화하는 일, 디자인을 만드는 일, 영상을 편집하는 일 — 이 모든 영역에 AI가 함께할 수 있게 되었습니다.

다음 글에서는 이 흐름의 마지막 퍼즐 — AI가 코드를 짜고 앱을 만들면서, 비개발자도 자기만의 도구를 직접 만들 수 있는 시대가 열리고 있다는 이야기를 하겠습니다.

AI는 더 이상 읽고 쓰기만 하지 않습니다. 보고, 듣고, 만듭니다.