Comment fonctionne HeyGen, cette IA qui vous fait parler une langue étrangère en quelques secondes ?

Il suffit de parler 30 secondes en se filmant en train de parler dans sa langue natale pour que Heygen puisse entrer en action. Ce nouveau service qui repose sur l’intelligence artificielle (IA) a une spécialité : il est capable de traduire vos phrases et de les recréer dans une autre langue en essayant d’imiter votre voix. Par la même occasion, elle va aussi modifier le mouvement de votre bouche pour les adapter aux mots étrangers que l’on vous attribue.

Impossible ou presque de voir la différence. Voilà une forme de deepfake d’un nouveau genre, en quelque sorte. Traduction, synthétisation de la voix et incrustation des mouvements des lèvres, Heygen, aidé de l’IA, impressionne par la qualité du travail rendu et la simplicité de son utilisation. Et pose même la question de la nécessité d’apprendre une langue étrangère à l’avenir. Ce service peut en tout cas faciliter bien des usages, comme la création de vidéos multilingues à la volée.

Démonstration saisissante de la technologie :

Il est même possible de faire parler d’utiliser des vidéos d’archive :

HeyGen, la tour de Babel réinventée

Il s’agit d’une plateforme basée sur le cloud, proposée en abonnement (à partir de 24 dollars par mois, après une période d’essai gratuite). Elle a pour usage premier de créer des vidéos d’aspect professionnel à partir de la saisie de texte. C’est l’IA qui vient transformer le texte en vidéo. C’est aussi l’IA qui peut créer des avatars réalistes que vous pouvez utiliser pour créer une vidéo sans avoir à passer la fastidieuse case du tournage.

Enfin, c’est aussi l’IA qui peut faire en sorte qu’une vidéo créée initialement en français, peut se décliner très simplement en anglais, en allemand, en mandarin, en bulgare, en hébreu ou encore en coréen. Si  la qualité de la traduction et de la synchronisation labiale peut varier en fonction de la langue utilisée, le résultat n’en demeure pas moins impressionnant. Plus de 40 langues sont déjà disponibles. « En éliminant les barrières linguistiques, le contenu est accessible au monde entier, et pas seulement aux 10 % qui parlent anglais », insiste Joshua Xubreaking, le CEO et cofondateur du service cloud vidéo boosté à l’IA.

Comment fonctionne le service concrètement ?

Depuis son lancement à l’été 2022, HeyGen (précédemment Movio) a rapidement progressé et ajouté nombre de nouvelles fonctions à son offre. Le grand saut a notamment eu lieu depuis avril 2023 quand HeyGen a commencé à intégrer la puissance de l’IA GPT-4 (OpenAI) et la possibilité de créer une vidéo à partir d’une URL.

Concrètement, HeyGen combine donc les traductions de ChatGPT-4, la synchronisation labiale de wav2lip-2 et le clonage vocal de 11labs. Cela lui permet, outre les vidéos multilingues, de proposer aussi la possibilité de faire parler les photos en animant les lèvres et les muscles du visage. D’échanger le visage de deux personnes dans une vidéo. Ou encore d’afficher des vêtements différents sur les personnes filmées, par exemple.

Comment utiliser HeyGen pour créer une vidéo ?

Actuellement, les utilisateurs peuvent télécharger des vidéos de 30 secondes ou plus sur le service cloud en utilisant un « crédit ». Ils ont ensuite la possibilité de tester le service et de générer deux vidéos gratuites avant de se voir proposer différents abonnements dont le prix varie selon les usages (génération de 10 minutes de vidéos par mois jusqu’à 240 minutes). Sur la base de ces 30 secondes, le service peut donc recréer la même vidéo mais dans une autre langue, avec une voix approchante et un mouvement des lèvres relativement naturel. Bluffant.

Autre option : créer une vidéo in extenso sur la plateforme. Il existe aussi un large catalogue d’avatars, que l’on peut habiller à loisir selon le style souhaité. Il suffit d’entrer un script de la vidéo (ou de coller l’URL d’un article de news par exemple) pour qu’ensuite HeyGen soit capable de créer une vidéo « breaking news » avec un présentateur ou une présentatrice virtuelle, des images prétextes…

Le service peut se révéler utile pour créer à la volée des vidéos explicatives d’un produit ou d’un service d’une société multinationale dans de nombreuses langues en quelques minutes seulement. Mais on peut aussi craindre que ce genre d’outils ne servent à créer des robinets à fake news plus vraies que natures, à l’instar de l’expérimentation CounterCloud.com.

SOUTENEZ WE DEMAIN, SOUTENEZ UNE RÉDACTION INDÉPENDANTE
Inscrivez-vous à notre newsletter hebdomadaire
et abonnez-vous à notre magazine.