De stem van een spreker behouden bij het vertalen van video

Er is een moment waarop je jezelf hoort spreken in een taal die je niet spreekt. Het is vreemd, een beetje opwindend en, als het slecht is gedaan, ronduit onaangenaam. De stem is bijna de jouwe, maar de persoon die hij beschrijft ben je niet helemaal.

De stem van een spreker over talen heen behouden is technisch grotendeels een opgelost probleem. Het verschil tussen een nasynchronisatie die goed aanvoelt en een die dat niet doet, komt meestal neer op de invoer die je geeft en een handvol keuzes die je daarna maakt. Deze gids behandelt beide.

Wat “de stem behouden” eigenlijk betekent

Als mensen zeggen dat een nasynchronisatie “als mij” moet klinken, vragen ze meestal om meerdere dingen tegelijk.

Klankkleur. Het basiskarakter van de stem: hoe diep of helder hij is, hoe warm, hoeveel korrel of ademlucht erin zit. Dit is het deel dat stemklonen het best aankan.

Toonhoogtebereik en gewoonten. Of je aan het eind van een vraag omhoog gaat, of je in een vlak, gelijkmatig register spreekt of heen en weer zwaait tussen hoog en laag.

Tempo en ritme. Waar je pauzeert, hoe snel je praat als je enthousiast bent, hoe lang je bij een punt blijft hangen.

Emotie. Of een lach klinkt als een lach, of nadruk valt waar die hoort.

Accent. Deze is lastig en het waard om over na te denken, omdat een accent zich niet laat vertalen. Spreek je Engels met een bepaald regionaal accent, dan reproduceert de nagesynchroniseerde Spaanse versie dat niet, en dat wil je waarschijnlijk ook niet. Het moet klinken als een Spaanse moedertaalspreker met het karakter van jouw stem.

Een goede nasynchronisatie neemt de eerste vier mee en gaat verstandig om met de vijfde. Niemand mag een perfecte kopie verwachten, en wie dat belooft, overdrijft.

Hoe stemklonen kort gezegd werkt

De wiskunde heb je niet nodig, maar één idee helpt. Een stemmodel wordt getraind op, of gestuurd door, opgenomen spraak van de persoon. Het leert een voorstelling van wat die stem kenmerkend maakt en gebruikt die om nieuwe spraak te genereren, in dit geval de vertaalde zinnen.

Daar volgen twee dingen uit. Ten eerste kan het model alleen weergeven wat het hoort, dus hoe helderder en rijker het voorbeeld, hoe beter de kloon. Ten tweede neemt de gekloonde stem de eigenschappen over van wat je hem gaf, inclusief een schorre dag, achtergrondgebrom en een kamer met galm.

Geef het een goed voorbeeld

Hier zit de meeste winst. Kloon je je eigen stem, besteed dan tien minuten aan de opname.

• Neem op in een stille, zachte ruimte. Een kast vol kleren verslaat een kale keuken. Galm is de vijand.
• Gebruik een degelijke microfoon, dicht bij je mond. Een usb-microfoon of een headset is prima. Een laptopmicrofoon aan de overkant van het bureau niet.
• Spreek natuurlijk. Weersta de neiging om als een verteller te klinken. Lees iets in gesprekstoon voor, of praat gewoon over je dag. Het model leert van hoe je echt spreekt.
• Zorg voor variatie. Vragen, uitspraken, een beetje opwinding, een rustig stuk. Een vlak voorbeeld geeft een vlakke kloon.
• Vermijd ruis en muziek. Gebrom van de koelkast, ventilatoren en achtergrondmuziek lekken allemaal door in de kloon.

Nasynchroniseer je een video waarin de oorspronkelijke audio van de spreker de bron is, dan gelden dezelfde regels voor die audio. Heldere spraak geeft het systeem meer om mee te werken.

Meerdere sprekers

Interviews en panelvideo’s voegen een kink toe. Het systeem moet scheiden wie wat zei en dan elke persoon een eigen stem toewijzen. Wat helpt:

• Vermijd overlappende spraak waar dat kan.
• Controleer de sprekerlabels na de transcriptie. Zijn twee mensen samengevoegd tot één, dan gebruikt de nasynchronisatie één stem voor beiden.
• Geef elke persoon genoeg eigen spraak. Een gast die alleen “juist” en “ja” zegt, geeft het systeem weinig om te modelleren.

Lees de transcriptie in Studio voordat je publiceert, zodat een regel die aan de verkeerde persoon is toegewezen wordt gevonden voordat hij dialoog in de verkeerde stem wordt.

Houd het tempo natuurlijk

Mensen merken zelden een gekloonde stem die een beetje afwijkt van het origineel. Ze merken wel een stem die gehaast klinkt. Dit is de meest voorkomende reden dat een nasynchronisatie kunstmatig aanvoelt, en het is evengoed een vertaalprobleem als een stemprobleem.

Talen verschillen in hoeveel lettergrepen er nodig zijn om hetzelfde te zeggen. Is de vertaling veel langer dan het origineel, dan moet de nagesynchroniseerde stem versnellen om in hetzelfde vak te passen of doorlopen in de volgende regel. Dat oplossen betekent meestal de vertaling inkorten, niet aan de stem sleutelen.

Neem een regel die gehaast klinkt en vraag je af of de vertaling meer zegt dan nodig is. Schrap een voorbehoud, laat een overbodige bijzin vallen en genereer die regel opnieuw. De spreektijdcalculator geeft snel een globaal idee van hoe lang een stuk tekst duurt om uit te spreken.

Controleer de details die een stem verraden

Luister hier bij een eerste ronde naar.

Namen. Je eigen naam, de naam van je kanaal, je productnamen. Spreekt het model ze anders uit dan jij, corrigeer het dan. Een woord fonetisch herschrijven in de tekst helpt vaak.

Gelach en stopwoordjes. Natuurlijke spraak heeft aarzelingen, ademhalingen, kleine lachjes. Een nasynchronisatie die ze allemaal weghaalt, kan steriel aanvoelen, en een die elke “eh” behoudt, rommelig. Bepaal wat je wilt en bewerk daarnaar.

Nadruk. Als een zin op een bepaald woord moet landen, controleer dan of de klemtoon in de vertaling daar valt. Soms lost het herformuleren van de zin op, zodat het sleutelwoord aan het eind komt.

Toestemming en ethiek

Dit is belangrijk, dus we zeggen het rechtuit. Kloon je eigen stem, of de stem van iemand die ermee heeft ingestemd. Kloon geen stem uit een opname van iemand die geen toestemming heeft gegeven, en wees voorzichtig met publieke figuren. Naast de ethische vraag kun je op veel plekken juridische problemen krijgen.

Transparant zijn naar je publiek is ook een goede gewoonte. Een korte regel in de beschrijving in de trant van “nagesynchroniseerd met AI, stem gegenereerd op basis van de oorspronkelijke spreker” is eerlijk en schaadt zelden. Kijkers reageren doorgaans slechter op het later ontdekken ervan dan op het vooraf horen.

Wanneer je de oorspronkelijke stem niet wilt

Soms is een andere stem de juiste keuze. Een bedrijfstraining is misschien beter af met een neutrale verteller. Een les voor kinderen vraagt misschien om een vriendelijker toon. Een spreker die zich niet prettig voelt bij het horen van een synthetische versie van zichzelf, mag daar niet toe gedwongen worden.

Stemklonen is een keuze, geen vereiste. Denk na over de vraag of de identiteit van de spreker deel uitmaakt van wat het publiek waardeert. Voor een maker of docent met een herkenbare stem is dat meestal zo. Voor een uitlegvideo zonder gezicht meestal niet.

Nasynchroniseer je YouTube-video’s in je eigen stem, dan laat de gids over de YouTube-video vertalen zien hoe klonen in de werkwijze van een kanaal past, en AI-nasynchronisatie voor makers geeft het overzicht.

Een herhaalbaar proces

Synchroniseer je regelmatig na, dan werkt deze routine:

1. Neem één keer een schoon stemvoorbeeld op of kies er een, en hergebruik het.
2. Synchroniseer de video na met stemklonen aan.
3. Luister naar de eerste minuut en naar elk stuk met veel emotie.
4. Corrigeer de uitspraak van namen en termen.
5. Kort elke regel in die gehaast klinkt.
6. Genereer alleen de gewijzigde regels opnieuw.
7. Luister nog een keer helemaal, bij voorkeur met iemand die de taal spreekt.

Dubtitle ondersteunt stemklonen op elk abonnement, de gratis proefperiode inbegrepen, en de pagina over AI-nasynchronisatie legt de werkwijze uit. Wil je jezelf in een andere taal horen, start dan een gratis proefperiode en gebruik een kort fragment.