AI 영상 번역기는 어떻게 작동할까

AI 영상 번역기는 한 단계처럼 들리지만 사실 네 단계의 연쇄입니다. 각 단계가 무엇을 하는지 알면 도구를 고르기도, 결과가 왜 잘못되었는지 이해하기도 쉽습니다.

1. 전사

도구는 먼저 음성을 텍스트로 바꾸고, 구절마다 타임스탬프를 붙입니다. 이후의 모든 것이 이 단계에 달려 있습니다. 여기서 단어를 잘못 들으면 번역은 틀린 단어를 충실하게 번역합니다.

또렷한 오디오가 가장 도움이 됩니다. 음성 밑에 깔린 음악, 여러 사람이 동시에 말하는 상황, 심한 배경 소음은 모두 오류율을 높입니다. 녹음을 직접 제어할 수 있다면 조용한 방과 화자 가까이에 둔 마이크 하나가 어떤 설정보다 효과가 큽니다.

2. 번역

전사된 내용이 대상 언어로 번역됩니다. 요즘의 번역은 문장 전체를 읽기 때문에 어순과 문법을 잘 처리합니다. 전사에 없는 것은 상대적으로 약합니다. 이름이 누구의 것인지, 용어가 어떤 제품을 가리키는지, 농담이 농담인지 같은 것들입니다.

그래서 이름, 관용구, 전문 용어는 사람이 봐야 합니다. 번역 용어집은 반복되는 용어가 어떻게 표시될지를 고정해 주므로, 문장마다가 아니라 한 번에 고칠 수 있습니다. 설정 방법은 번역된 영상 전반의 용어 일관성 가이드에서 설명합니다.

3. 음성

자막이 목적이라면 파이프라인은 번역에서 멈출 수 있습니다. 더빙이라면 번역된 텍스트를 음성으로 바꿉니다. 여기서 도구마다 차이가 납니다. 기본 제공 목소리를 쓰는 도구도 있고, 더빙이 여전히 본인처럼 들리도록 원래 화자의 목소리를 복제하는 도구도 있습니다. 자연스러운 복제의 조건은 화자의 목소리 유지하기에서 다룹니다.

음성 단계에서는 새 음성을 원본과 같은 시간 안에 맞춰야 하기도 합니다. 언어에 따라 길이가 달라서, 도구가 표현을 줄이거나 조금 빠르게 말할 수 있습니다. 말하기 시간 계산기로 대본을 읽는 데 걸리는 시간을 대략 가늠할 수 있습니다.

4. 검토

사람들이 건너뛰지만 가장 중요한 단계입니다. 번역된 스크립트를 읽으세요. 이름과 관용구를 고치세요. 시청자가 계속 볼지 정하는 구간인 첫 1분을 들어 보세요.

Dubtitle의 Studio에서는 어떤 문장이든 수정하고 바꾼 구간만 다시 생성합니다. 문장 하나가 어색하다고 영상 전체를 다시 만들 필요가 없습니다.

실제 사례

영어로 된 2분짜리 제품 시연 영상을 스페인어로 더빙하려는 경우를 상상해 보세요.

전사 단계에서 타임스탬프가 붙은 약 300단어가 나옵니다. 훑어보다가 제품명 “Kettle Cloud”가 “cattle cloud”로 적힌 것을 발견합니다. 이 실수 하나가 그대로 번역되고 소리 내어 읽혔을 것입니다. 번역하기 전에 스크립트에서 고치면 나머지는 올바르게 이어집니다.

번역 단계에서 문장이 스페인어로 바뀝니다. 한 줄이 “this will blow your mind”입니다. 단어 그대로 옮기면 어색하게 들리므로, 마음에 드는 기능에 대해 스페인어 화자가 실제로 할 법한 말로 다시 씁니다.

음성 단계에서 스페인어 트랙이 생성됩니다. 스페인어가 두 군데에서 영어보다 조금 깁니다. 도구가 다음 장면 전환 전에 들어가도록 그 문장들을 간결하게 다듬습니다.

마지막으로 첫 1분을 들어 보고, 한 줄을 더 고치고, 영상을 내려받습니다. 작업의 대부분은 클릭이 아니라 읽기였고, 품질의 거의 전부는 전사와 검토 단계에서 나왔습니다.

자막, 보이스오버, 더빙

같은 파이프라인이 세 가지 결과물로 끝날 수 있습니다.

자막은 번역에서 멈춥니다. 시청자는 번역된 텍스트를 읽고 원래 음성을 듣습니다. 가장 저렴하고 확인하기 쉬운 방법입니다.

보이스오버는 번역된 목소리를 원래 오디오 위에 얹으며, 원래 오디오는 보통 아래에서 희미하게 들립니다. 뉴스와 다큐멘터리 클립에 흔합니다.

완전한 더빙은 원래 음성을 새 언어의 음성 트랙으로 바꿉니다. 시청자가 화면을 봐야 하는 튜토리얼, 강의, 채널 영상에 잘 맞습니다. 고르는 방법은 AI 더빙과 자막 비교가 도와드립니다.

AI 영상 번역이 틀리는 지점

• 전사에서 잘못 듣기. 억양, 웅얼거림, 소음 때문입니다.
• 직역된 관용구. 한 언어에서 말이 되는 표현이 다른 언어에서는 엉뚱한 말이 됩니다. 스페인어 가이드에 실제 사례가 있습니다.
• 일관되지 않은 용어. 같은 제품명이 세 가지 철자로 쓰입니다.
• 잘못된 말투. 캐주얼한 영상이 격식 있게 나오거나 그 반대입니다.
• 타이밍. 더 긴 언어를 같은 장면에 구겨 넣습니다.

업로드 전에 결과를 개선하는 방법

생각보다 많은 것을 직접 제어할 수 있습니다.

• 깨끗한 오디오를 녹음하세요. 화자 가까이에 마이크 하나, 조용한 방, 음성 밑에 음악 없음. 전사가 좋아지고, 이후 모든 단계가 전사에 달려 있습니다.
• 일정한 속도로 말하세요. 긴 침묵과 매우 빠른 구간은 모두 음성 단계의 타이밍을 어렵게 합니다.
• 용어 목록을 만들어 두세요. 제품명, 약어, 사람 이름은 번역 단계에서 가장 자주 틀리는 부분입니다. 작업을 돌리기 전에 용어집에 넣으세요.
• 화면 녹화가 아니라 원본 파일을 쓰세요. 다시 인코딩된 영상은 보통 오디오가 더 나쁩니다.
• 권리를 확인하세요. 내가 소유하거나 번역 허락을 받은 영상만 번역하고 더빙하세요.

걸리는 시간과 비용

시간은 도구와 영상에 따라 다릅니다. Dubtitle에서는 대부분의 영상이 2~10분 안에 끝납니다. 비용은 어떻게 세느냐에 따라 달라집니다. 영상 단위, 크레딧, 분 단위로 요금을 매기는 도구가 각각 있습니다. 영상이 많다면 의미 있는 숫자는 언어당 완성된 1분의 비용입니다. 비용 가이드가 계산 방법을 보여 주고, AI 더빙과 기존 스튜디오 더빙도 비교합니다.

간단한 용어 정리

ASR. 자동 음성 인식. 전사 단계의 기술적인 이름입니다.

기계 번역. 한 언어의 텍스트를 다른 언어로 번역하는 소프트웨어입니다.

텍스트 음성 변환(TTS). 텍스트를 음성 오디오로 바꾸는 소프트웨어입니다.

음성 복제. 특정 사람을 본뜬 목소리로 음성을 생성하는 기술입니다.

용어집. 용어와 각각의 번역 방식을 모아 이름과 전문 용어를 일관되게 유지하는 목록입니다.

구간. 보통 한두 문장으로 이루어진 짧은 말의 단위로, 따로 수정하고 다시 생성할 수 있습니다.

AI 더빙 용어집에는 이 용어들과 다른 용어의 더 긴 설명이 있습니다.

도구를 고를 때 볼 점

같은 클립을 두세 개 도구에 돌려 비교해 보세요. AI 영상 번역 도구 추천 가이드에 따라 할 수 있는 테스트가 있습니다. 스크립트를 수정할 수 있는지, 목소리가 화자처럼 들리는지, 각 도구가 내 용어를 어떻게 다루는지 눈여겨보세요.

더빙을 해 보고 싶다면 유튜브 AI 더빙과 크리에이터 글에서 Dubtitle의 작동 방식을 설명하며, 요금제는 월 $5부터 시작하고 7일 무료 체험이 있습니다.