AI動画翻訳の仕組み

AI動画翻訳は1つの工程のように聞こえますが、実際は4つのつながりです。それぞれが何をするのかを知っておくと、ツールを選びやすくなり、結果がうまくいかなかった理由も理解できます。

1. 文字起こし

ツールはまず、音声をテキストに変え、フレーズごとにタイムスタンプをつけます。以降のすべてが、この段階に左右されます。ここで言葉を聞き間違えると、翻訳は間違った言葉を忠実に翻訳します。

最も効果があるのは、明瞭な音声です。話し声の下の音楽、複数人の同時の発話、強い背景ノイズは、どれも誤りを増やします。録音を自分で管理できるなら、静かな部屋と、話者の近くに置いた1本のマイクのほうが、どんな設定よりも効果があります。

2. 翻訳

文字起こしが、翻訳先の言語に翻訳されます。最近の翻訳は文全体を読むので、語順と文法をうまく扱えます。弱いのは、文字起こしに含まれないこと、つまり、名前が誰のものか、用語がどの製品を指すか、冗談が冗談かどうか、といった点です。

だから、名前、慣用句、専門用語には人の目が必要です。翻訳用語集は、繰り返し出る用語の表記を固定するので、1行ずつではなく一度で直せます。用語集の作り方は、翻訳動画で用語を統一する方法で説明しています。

3. 音声

字幕なら、パイプラインは翻訳の後で止められます。吹き替えでは、翻訳されたテキストが音声になります。ここはツールによって違います。標準の声を使うものもあれば、元の話者の声をクローンして、吹き替えでもその人らしい声にするものもあります。自然に聞こえるクローンの条件は、話者の声を保つ方法で扱っています。

音声の段階では、新しい音声を元と同じ時間に収める必要もあります。言語によって長さが違うため、ツールは言い回しを詰めたり、少し速く話したりすることがあります。原稿を話すのにかかる時間の目安は、話す時間の計算ツールでわかります。

4. 確認

多くの人が飛ばす段階であり、最も重要な段階です。翻訳された文字起こしを読みます。名前と慣用句を直します。最初の1分を聞いてください。視聴者が見続けるかどうかを決めるのが、そこだからです。

DubtitleのStudioでは、好きなセリフを編集して、変更したセグメントだけを再生成できます。1つの文が悪いからといって、動画全体をやり直す必要はありません。

具体例

英語の2分間の製品デモを、スペイン語に吹き替えたいとします。

文字起こしの段階で、タイムスタンプつきの約300語ができます。目を通すと、製品名の「Kettle Cloud」が「cattle cloud」と書かれていました。この間違い1つが、そのまま翻訳され、音声として読み上げられるところでした。翻訳の前に文字起こしで直せば、あとは正しく続きます。

翻訳の段階で、文がスペイン語になります。ある行は「this will blow your mind」です。逐語訳では不自然に聞こえるので、スペイン語話者が気に入った機能について実際に言いそうな表現に書き直します。

音声の段階で、スペイン語のトラックが生成されます。2か所で、スペイン語が英語より少し長くなりました。ツールはそれらの行を、次の場面転換の前に収まるように詰めます。

最後に、最初の1分を聞き、もう1行直して、動画をダウンロードします。作業の大半は、クリックではなく読むことでした。品質のほとんどは、文字起こしと確認の段階から生まれました。

字幕、ボイスオーバー、吹き替え

同じパイプラインでも、3通りの出力で終わることができます。

字幕は、翻訳の後で止まります。視聴者は翻訳されたテキストを読み、元の音声を聞きます。最も安く、確認も最も簡単です。

ボイスオーバーは、翻訳した音声を元の音声に重ねるもので、元の音声は通常、下でうっすら聞こえたままです。ニュースやドキュメンタリーのクリップでよく使われます。

完全な吹き替えは、元の音声を新しい言語の音声トラックに置き換えます。視聴者が画面を見るべきチュートリアル、講座、チャンネルの動画に向いています。3つの選び方は、AI吹き替えと字幕の比較のガイドが助けになります。

AI動画翻訳がうまくいかないとき

• **文字起こしでの聞き間違い。**訛り、もごもごした発音、ノイズです。
• **直訳された慣用句。**ある言語で意味が通る表現が、別の言語では意味不明に訳されます。スペイン語のガイドに具体例があります。
• **用語の不統一。**同じ製品名が3通りの綴りになります。
• **文体の不一致。**くだけた動画が堅苦しくなる、あるいはその逆です。
• **タイミング。**長くなる言語が、同じ場面に押し込まれます。

アップロード前に結果を良くする方法

思っている以上に、自分で管理できる部分があります。

• **クリアな音声を録音する。**話者の近くに1本のマイク、静かな部屋、話し声の下に音楽を入れないこと。文字起こしが良くなり、後続のすべての段階がそれに左右されます。
• **一定のペースで話す。**長い間も、極端に速い部分も、音声の段階でタイミングを合わせにくくします。
• **用語のリストを用意する。**製品名、略語、人名は、翻訳の段階で最も間違えやすいものです。作業の前に、用語集に入れておきましょう。
• **画面収録ではなく、元のファイルを使う。**再エンコードされた動画は、たいてい音質が劣ります。
• **権利を確認する。**自分が所有している、または翻訳の許可を得ている動画だけを翻訳・吹き替えします。

所要時間と料金

時間は、ツールと動画によって変わります。Dubtitleでは、ほとんどの動画が2〜10分で完了します。料金は、数え方によります。動画ごと、クレジットごと、分数ごとに課金するツールがあります。ライブラリ全体で使える数字は、言語ごとの、完成した1分あたりの費用です。計算方法は費用のガイドで説明しており、AI吹き替えと従来のスタジオ吹き替えの比較も載せています。

用語の簡単な解説

**ASR。**自動音声認識。文字起こしの段階の技術的な名称です。

**機械翻訳。**テキストをある言語から別の言語に翻訳するソフトウェアです。

**テキスト読み上げ。**テキストを話し声の音声に変えるソフトウェアです。

**ボイスクローン。**特定の人物の声をモデルにして音声を生成することです。

**用語集。**用語と、それぞれの訳し方のリスト。名前や専門用語を統一するために使います。

**セグメント。**短い区間の音声で、通常は1〜2文です。単独で編集と再生成ができます。

これらやほかの用語の詳しい定義は、AI吹き替えの用語集にあります。

ツールで見るべきこと

同じクリップを2〜3つのツールにかけて比べてください。AI動画翻訳ツールの比較のガイドに、従えるテストがあります。文字起こしを編集できるか、声が話者に似ているか、自分の用語をどう扱うか、に注目しましょう。

吹き替えを試したいなら、YouTubeとクリエイター向けのAI吹き替えでDubtitleの仕組みを説明しています。料金のプランは、月額$5からで、7日間の無料トライアルがあります。