영상 번역 시 화자의 목소리를 유지하는 방법

내가 할 줄 모르는 언어로 말하는 내 목소리를 듣는 순간이 있습니다. 낯설고 조금 짜릿하지만, 엉성하게 만들어졌다면 몹시 거북합니다. 목소리는 거의 내 것인데, 그 목소리가 가리키는 사람이 내가 아닙니다.

언어를 넘어 화자의 목소리를 보존하는 일은 기술적으로는 대체로 해결된 문제입니다. 자연스럽게 느껴지는 더빙과 그렇지 않은 더빙의 차이는 보통 입력으로 주는 자료와 이후에 내리는 몇 가지 선택에서 갈립니다. 이 가이드는 둘을 모두 다룹니다.

“목소리를 보존한다”는 것의 의미

더빙이 “나처럼 들리면 좋겠다”고 말할 때 사람들은 보통 여러 가지를 동시에 요청하는 것입니다.

음색. 목소리의 기본 성격입니다. 얼마나 낮거나 맑은지, 얼마나 따뜻한지, 거칠거나 숨이 섞인 정도입니다. 음성 복제가 가장 잘 처리하는 부분입니다.

음높이 범위와 습관. 질문 끝에서 올라가는 편인지, 평평하고 안정적인 톤으로 말하는지, 높낮이를 오가는지입니다.

속도와 리듬. 어디서 쉬는지, 흥분하면 얼마나 빨리 말하는지, 한 요점에 얼마나 오래 머무는지입니다.

감정. 웃음이 웃음처럼 들리는지, 강조가 있어야 할 곳에 놓이는지입니다.

억양. 까다롭고 생각해 볼 만한 부분입니다. 억양은 번역되지 않기 때문입니다. 특정 지역 억양으로 영어를 말하더라도 더빙된 스페인어는 그것을 재현하지 않으며, 아마 재현되기를 원하지도 않을 것입니다. 내 목소리의 특징을 지닌 스페인어 원어민처럼 들려야 합니다.

좋은 더빙은 앞의 네 가지를 옮겨 오고 다섯째는 현명하게 처리합니다. 완벽한 복사본을 기대해서는 안 되며, 그렇게 약속하는 곳은 과장하는 것입니다.

음성 복제의 작동 방식, 간단히

수식은 몰라도 되지만 한 가지 개념이 도움이 됩니다. 음성 모델은 그 사람의 녹음된 음성으로 학습되거나 조건화됩니다. 그 목소리를 특징짓는 요소의 표현을 학습한 다음, 이를 사용해 새 음성, 여기서는 번역된 문장을 생성합니다.

두 가지 결과가 따라옵니다. 첫째, 모델은 들은 것만 표현할 수 있으므로 샘플이 또렷하고 풍부할수록 복제가 좋아집니다. 둘째, 복제된 목소리는 쉰 목소리로 말한 날, 배경 웅웅거림, 울리는 방 등 주어진 샘플의 특성을 그대로 가져갑니다.

좋은 샘플을 주세요

대부분의 개선이 여기서 나옵니다. 내 목소리를 복제한다면 녹음에 10분을 들이세요.

• 조용하고 소리가 흡수되는 방에서 녹음하세요. 옷이 가득한 옷장이 텅 빈 부엌보다 낫습니다. 울림이 적입니다.
• 입 가까이에 괜찮은 마이크를 쓰세요. USB 마이크나 헤드셋이면 충분합니다. 책상 건너편의 노트북 마이크는 아닙니다.
• 자연스럽게 말하세요. 내레이터처럼 들리려는 욕구를 참으세요. 대화체 글을 읽거나 그냥 하루 이야기를 하세요. 모델은 내가 실제로 말하는 방식에서 배웁니다.
• 변화를 담으세요. 질문, 평서문, 약간의 흥분, 차분한 구간. 평평한 샘플은 평평한 복제를 낳습니다.
• 소음과 음악을 피하세요. 냉장고 소리, 선풍기, 배경 음악이 모두 복제에 스며듭니다.

화자의 원래 오디오가 원본인 영상을 더빙할 때도 같은 규칙이 적용됩니다. 깨끗한 음성이 시스템에 더 많은 재료를 줍니다.

여러 화자

인터뷰와 패널 영상에는 주름이 하나 더 있습니다. 시스템이 누가 무엇을 말했는지 구분한 다음, 사람마다 서로 다른 목소리를 배정해야 합니다. 도움이 되는 것은 다음과 같습니다.

• 가능하면 겹쳐 말하기를 피하세요.
• 전사 후에 화자 표시를 확인하세요. 두 사람이 하나로 합쳐졌다면 더빙은 둘에게 같은 목소리를 씁니다.
• 각 사람에게 충분한 단독 발화를 주세요. “맞아요”, “네”만 말하는 게스트는 시스템이 모델링할 재료를 많이 주지 못합니다.

게시 전에 Studio에서 스크립트를 읽어서, 엉뚱한 사람의 말로 표시된 문장이 엉뚱한 목소리의 대화가 되기 전에 잡아내세요.

속도를 자연스럽게 유지하세요

원본과 조금 다른 복제 목소리는 사람들이 잘 알아채지 못합니다. 하지만 급하게 들리는 목소리는 알아챕니다. 더빙이 인위적으로 느껴지는 가장 흔한 이유이며, 목소리 문제만큼 번역 문제이기도 합니다.

같은 말을 하는 데 필요한 음절 수는 언어마다 다릅니다. 번역이 원본보다 훨씬 길면 더빙된 목소리는 같은 구간에 맞추려고 빨라지거나 다음 문장으로 넘쳐 흐릅니다. 해결은 보통 목소리를 만지는 것이 아니라 번역을 다듬는 것입니다.

급하게 들리는 문장을 골라 번역이 필요 이상으로 많은 말을 하고 있지 않은지 물어보세요. 완곡한 표현을 자르고, 불필요한 절을 빼고, 그 문장을 다시 생성하세요. 말하기 시간 계산기로 텍스트를 말하는 데 걸리는 시간을 빠르게 가늠할 수 있습니다.

목소리를 드러내는 디테일을 확인하세요

처음 들을 때 다음을 확인하세요.

이름. 내 이름, 채널 이름, 제품명입니다. 모델이 내가 발음하는 방식과 다르게 발음한다면 고치세요. 텍스트에서 단어를 발음대로 다시 적으면 도움이 되는 경우가 많습니다.

웃음과 군말. 자연스러운 말에는 머뭇거림, 숨, 작은 웃음이 있습니다. 이를 모두 없앤 더빙은 삭막하게 느껴질 수 있고, “음”을 하나도 빼지 않은 더빙은 지저분할 수 있습니다. 원하는 바를 정하고 그에 맞게 수정하세요.

강조. 문장이 특정 단어에서 힘을 받아야 한다면 번역에서 강세가 그곳에 오는지 확인하세요. 핵심 단어가 끝에 오도록 문장을 바꿔 쓰면 해결되기도 합니다.

동의와 윤리

중요하므로 직접 말씀드립니다. 내 목소리나 동의한 사람의 목소리만 복제하세요. 동의하지 않은 사람의 녹음에서 목소리를 복제하지 말고, 공인에 대해서는 특히 조심하세요. 윤리적 문제 외에도 많은 곳에서 법적 문제가 생길 수 있습니다.

시청자에게 투명하게 밝히는 것도 좋은 관행입니다. 설명란에 “AI로 더빙됨, 원래 화자의 목소리로 생성” 같은 짧은 문구를 넣는 것은 솔직하고 해가 되는 일이 드뭅니다. 시청자는 나중에 알게 되는 것보다 미리 들었을 때 덜 부정적으로 반응합니다.

원래 목소리를 원하지 않을 때

다른 목소리가 맞는 경우도 있습니다. 기업 교육 영상에는 중립적인 내레이터가 더 나을 수 있습니다. 어린이 강의에는 더 친근한 톤이 어울릴 수 있습니다. 합성된 자신의 목소리를 듣는 것이 불편한 화자에게 강요해서는 안 됩니다.

음성 복제는 필수가 아니라 선택입니다. 화자의 정체성이 시청자가 가치를 두는 부분인지 생각해 보세요. 알아볼 수 있는 목소리를 가진 크리에이터나 강사라면 대개 그렇습니다. 얼굴 없는 설명 영상이라면 대개 아닙니다.

내 목소리로 유튜브 영상을 더빙한다면 유튜브 영상 번역기 가이드가 음성 복제가 채널 작업 흐름에 어떻게 들어맞는지 보여 주고, 크리에이터를 위한 AI 더빙이 개요를 줍니다.

반복 가능한 과정

정기적으로 더빙한다면 이 루틴이 잘 맞습니다.

1. 깨끗한 음성 샘플을 한 번 녹음하거나 골라서 재사용하세요.
2. 음성 복제를 켠 채 영상을 더빙하세요.
3. 첫 1분과 감정이 풍부한 구간을 들어 보세요.
4. 이름과 용어의 발음을 고치세요.
5. 급하게 들리는 문장은 줄이세요.
6. 바뀐 문장만 다시 생성하세요.
7. 가능하면 그 언어를 하는 사람과 함께 전체를 한 번 더 들어 보세요.

Dubtitle은 무료 체험을 포함한 모든 요금제에서 음성 복제를 지원하며, AI 더빙 글에서 작업 흐름을 설명합니다. 다른 언어로 말하는 내 목소리를 들어 보고 싶다면 무료 체험을 시작하고 짧은 클립을 사용해 보세요.