Stimme beim Übersetzen eines Videos bewahren
Was Stimmklonen leistet und was nicht, wie Sie gutes Ausgangsmaterial liefern und was dafür sorgt, dass die Synchronisation nach derselben Person klingt.
7 Min. Lesezeit
Es gibt diesen Moment, in dem man sich selbst in einer Sprache sprechen hört, die man nicht spricht. Er ist seltsam, ein wenig aufregend und, wenn es schlecht gemacht ist, zutiefst abstoßend. Die Stimme ist fast Ihre, aber die Person, die sie beschreibt, sind nicht ganz Sie.
Die Stimme einer sprechenden Person über Sprachen hinweg zu bewahren, ist technisch größtenteils gelöst. Ob eine Synchronisation stimmig wirkt oder nicht, hängt meist vom Ausgangsmaterial ab und von einer Handvoll Entscheidungen danach. Dieser Ratgeber behandelt beides.
Was „die Stimme bewahren“ eigentlich bedeutet
Wenn Menschen sagen, die Synchronisation solle „nach mir klingen“, wünschen sie sich meist mehrere Dinge gleichzeitig.
Klangfarbe. Der Grundcharakter der Stimme: wie tief oder hell, wie warm, wie viel Rauheit oder Hauch. Das kann das Stimmklonen am besten.
Tonhöhenumfang und -gewohnheiten. Ob Sie am Ende einer Frage nach oben gehen, ob Sie in einer flachen, gleichmäßigen Lage sprechen oder zwischen hoch und tief schwanken.
Tempo und Rhythmus. Wo Sie pausieren, wie schnell Sie sprechen, wenn Sie aufgeregt sind, wie lange Sie bei einem Punkt verweilen.
Emotion. Ob ein Lachen wie ein Lachen klingt, ob Betonung dort sitzt, wo sie hingehört.
Akzent. Dieser Punkt ist heikel und bedenkenswert, denn ein Akzent lässt sich nicht übersetzen. Wenn Sie Englisch mit einem bestimmten regionalen Akzent sprechen, gibt das synchronisierte Spanisch ihn nicht wieder, und Sie wollten das vermutlich auch nicht. Es sollte klingen wie eine spanische Muttersprachlerin oder ein spanischer Muttersprachler mit dem Charakter Ihrer Stimme.
Eine gute Synchronisation überträgt die ersten vier und geht mit dem fünften vernünftig um. Niemand sollte eine perfekte Kopie erwarten, und wer das verspricht, verkauft zu viel.
Wie Stimmklonen kurz funktioniert
Die Mathematik brauchen Sie nicht, eine Idee hilft aber. Ein Stimmmodell wird mit aufgenommener Sprache der Person trainiert oder von ihr gesteuert. Es lernt eine Darstellung dessen, was diese Stimme auszeichnet, und erzeugt damit neue Sprache, hier die übersetzten Sätze.
Daraus folgen zwei Dinge. Erstens kann das Modell nur darstellen, was es hört, je klarer und reichhaltiger die Probe, desto besser der Klon. Zweitens trägt die geklonte Stimme die Eigenschaften dessen, was Sie ihr gegeben haben, einschließlich eines heiseren Tages, Hintergrundbrummens und eines hallenden Raums.
Eine gute Stimmprobe liefern
Hier liegt der größte Teil des Gewinns. Wenn Sie Ihre eigene Stimme klonen, investieren Sie zehn Minuten in die Aufnahme.
- Nehmen Sie in einem ruhigen, weichen Raum auf. Ein Schrank voller Kleidung schlägt eine kahle Küche. Nachhall ist der Feind.
- Nutzen Sie ein ordentliches Mikrofon nah am Mund. Ein USB-Mikrofon oder ein Headset genügt. Ein Laptop-Mikrofon quer über dem Schreibtisch nicht.
- Sprechen Sie natürlich. Widerstehen Sie dem Drang, wie ein Erzähler zu klingen. Lesen Sie etwas Gesprächiges vor oder erzählen Sie einfach von Ihrem Tag. Das Modell lernt, wie Sie wirklich sprechen.
- Sorgen Sie für Abwechslung. Fragen, Aussagen, etwas Begeisterung, eine ruhige Strecke. Eine flache Probe erzeugt einen flachen Klon.
- Vermeiden Sie Geräusche und Musik. Kühlschrankbrummen, Ventilatoren und Hintergrundmusik gelangen in den Klon.
Wenn Sie ein Video synchronisieren, bei dem das Originalaudio der sprechenden Person die Quelle ist, gelten dieselben Regeln für dieses Audio. Saubere Sprache gibt dem System mehr zum Arbeiten.
Mehrere Sprechende
Interviews und Podiumsvideos bringen eine Besonderheit mit. Das System muss trennen, wer was gesagt hat, und dann jeder Person eine eigene Stimme zuweisen. Das hilft:
- Vermeiden Sie überlappende Sprache, wenn möglich.
- Prüfen Sie die Sprecherzuordnung nach der Transkription. Wurden zwei Personen zu einer zusammengefasst, nutzt die Synchronisation für beide dieselbe Stimme.
- Geben Sie jeder Person genug Einzelsprache. Ein Gast, der nur „genau“ und „ja“ sagt, gibt dem System wenig zum Modellieren.
Lesen Sie das Transkript in Studio, bevor Sie veröffentlichen, damit eine falsch zugeordnete Zeile auffällt, bevor sie zu einem Dialog in der falschen Stimme wird.
Das Tempo natürlich halten
Eine geklonte Stimme, die leicht vom Original abweicht, fällt selten auf. Eine Stimme, die gehetzt klingt, schon. Das ist der häufigste Grund, warum eine Synchronisation künstlich wirkt, und es ist ein Übersetzungsproblem ebenso wie ein Stimmproblem.
Sprachen unterscheiden sich darin, wie viele Silben es braucht, dasselbe zu sagen. Ist die Übersetzung viel länger als das Original, muss die synchronisierte Stimme entweder beschleunigen, um in dasselbe Zeitfenster zu passen, oder in die nächste Zeile hineinlaufen. Die Lösung ist meist, die Übersetzung zu straffen, nicht an der Stimme zu drehen.
Nehmen Sie eine Zeile, die gehetzt klingt, und fragen Sie, ob die Übersetzung mehr sagt als nötig. Streichen Sie eine Abschwächung, lassen Sie einen überflüssigen Nebensatz weg und erzeugen Sie die Zeile neu. Der Sprechzeit-Rechner gibt schnell eine grobe Vorstellung, wie lange ein Text zum Sprechen braucht.
Auf Details achten, die eine Stimme verraten
Achten Sie beim ersten Durchgang auf diese Punkte.
Namen. Ihren eigenen Namen, den Namen Ihres Kanals, Ihre Produktnamen. Spricht das Modell sie anders aus als Sie, korrigieren Sie das. Oft hilft es, ein Wort im Text phonetisch umzuschreiben.
Lachen und Füllwörter. Natürliche Sprache hat Zögern, Atmen, kleine Lacher. Eine Synchronisation, die alles entfernt, kann steril wirken, und eine, die jedes „äh“ behält, unordentlich. Entscheiden Sie, was Sie wollen, und bearbeiten Sie entsprechend.
Betonung. Wenn ein Satz auf einem bestimmten Wort landen soll, prüfen Sie, ob die Betonung in der Übersetzung dort sitzt. Manchmal hilft es, den Satz so umzustellen, dass das Schlüsselwort am Ende steht.
Einwilligung und Ethik
Das ist wichtig, deshalb sagen wir es direkt. Klonen Sie Ihre eigene Stimme oder die einer Person, die zugestimmt hat. Klonen Sie keine Stimme aus der Aufnahme einer Person, die nicht eingewilligt hat, und seien Sie bei Personen des öffentlichen Lebens vorsichtig. Abgesehen von der ethischen Frage können Sie an vielen Orten rechtliche Probleme bekommen.
Transparenz gegenüber Ihrem Publikum ist ebenfalls gute Praxis. Eine kurze Zeile in der Beschreibung wie „mit KI synchronisiert, Stimme aus der ursprünglich sprechenden Person erzeugt“ ist ehrlich und schadet selten. Zuschauende reagieren meist schlechter, wenn sie es später entdecken, als wenn man es ihnen sagt.
Wenn Sie die Originalstimme nicht wollen
Manchmal ist eine andere Stimme die richtige Wahl. Ein Unternehmensschulungsvideo ist mit einer neutralen Erzählstimme vielleicht besser aufgehoben. Eine Kinderlektion braucht womöglich einen freundlicheren Ton. Eine Person, die sich mit einer synthetischen Version ihrer selbst nicht wohlfühlt, sollte nicht dazu gedrängt werden.
Stimmklonen ist eine Entscheidung, keine Pflicht. Überlegen Sie, ob die Identität der sprechenden Person Teil dessen ist, was das Publikum schätzt. Bei Content-Creatorn oder Lehrenden mit wiedererkennbarer Stimme ist sie es meist. Bei einem gesichtslosen Erklärvideo meist nicht.
Wenn Sie YouTube-Videos in Ihrer eigenen Stimme synchronisieren, zeigt der Ratgeber zum YouTube-Video übersetzen, wie das Klonen in einen Kanalablauf passt, und KI-Synchronisation für Creator gibt den Überblick.
Ein wiederholbarer Ablauf
Wenn Sie regelmäßig synchronisieren, bewährt sich diese Routine:
- Nehmen Sie einmal eine saubere Stimmprobe auf oder wählen Sie eine aus und verwenden Sie sie wieder.
- Synchronisieren Sie das Video mit eingeschaltetem Stimmklonen.
- Hören Sie die erste Minute und jeden Abschnitt mit starker Emotion an.
- Korrigieren Sie die Aussprache von Namen und Begriffen.
- Kürzen Sie jede Zeile, die gehetzt klingt.
- Erzeugen Sie nur die geänderten Zeilen neu.
- Hören Sie noch einmal alles, am besten zusammen mit jemandem, der die Sprache spricht.
Dubtitle unterstützt Stimmklonen in jedem Tarif, auch in der kostenlosen Testphase, und die Seite zur KI-Synchronisation erklärt den Ablauf. Wenn Sie sich in einer anderen Sprache hören möchten, starten Sie eine kostenlose Testphase und nutzen Sie einen kurzen Clip.
Häufig gestellte Fragen
Kann KI ein Video in meiner eigenen Stimme synchronisieren?
Ja. Beim Stimmklonen entsteht aus einer Aufnahme ein Modell Ihrer Stimme, mit dem das übersetzte Skript gesprochen wird. Je klarer Ihre Aufnahme, desto näher das Ergebnis.
Wie funktioniert Stimmklonen bei der Video-Synchronisation?
Das System lernt, was eine Stimme ausmacht, etwa Klangfarbe und Tonhöhengewohnheiten, und erzeugt dann neue Sprache in dieser Stimme. Es kann nur wiedergeben, was es hört, deshalb gehen Rauschen oder Hall der Aufnahme mit über.
Was macht eine gute Stimmprobe zum Klonen aus?
Ein ruhiger, schallgedämpfter Raum, ein ordentliches Mikrofon nah am Mund, natürliche Gesprächssprache mit etwas Abwechslung und keine Hintergrundgeräusche oder Musik.
Behält die Synchronisation meinen Akzent?
Nein. Ein Akzent lässt sich nicht übersetzen. Die Synchronisation sollte wie eine Person klingen, die die Zielsprache als Muttersprache spricht, mit dem Charakter Ihrer Stimme.
Darf ich die Stimme einer anderen Person klonen?
Nur mit deren Einwilligung. Nutzen Sie Stimmklonen für Ihre eigene Stimme oder für Sprechende, die zugestimmt haben, und beachten Sie die Richtlinie zur akzeptablen Nutzung der Plattform.
