OpenAI Sora : et maintenant l’intelligence artificielle crée des vidéos

Plus vrais que natures, les petits films générés par Sora sont relativement bluffants. Si certains rendus demeurent encore grotesques, on voit déjà émerger le potentiel de ce nouvelle outil d’intelligence artificielle (IA). Dévoilé le le 15 février 2024, il vient compléter l’éventail de services proposé par la firme américaine, après l’incroyable succès de DALL-E et ChatGPT. À en croire le buzz autour de Sora, la popularité de cette IA « text-to-video » (création de vidéos sur instructions textuelles) pourrait être similaire à ses congénères. Si Sora n’est pas encore accessible au grand public, cela ne saurait tarder.

Actuellement, OpenAI a ouvert l’accès à son nouvel outil à un petit groupe de développeurs et de spécialistes en cybersécurité (les membres Red. Ils testent cette nouvelle IA pour identifier les points forts et les points faibles et faire remonter leurs critiques à la société de Sam Altman. Outre identifier les « hallucinations » de Sora, la crainte est évidemment que cet outil ne serve à créer des deepfakes ou à diffuser de la désinformation. D’ailleurs, OpenAI a déclaré vouloir prendre des « mesures de sécurité importantes » avant de proposer Sora aux internautes. Parallèlement, une poignée de créateurs de contenu expérimente l’outil pour en tester les capacités créatives.

Sora, mode d’emploi

Comment fonctionne concrètement Sora et comment génère-t-il techniquement ces vidéos bluffantes ? Voici les étapes du processus de génération de l’IA :

1. Saisie de la description textuelle :

• L’utilisateur décrit la vidéo souhaitée en langage naturel, précisant le sujet, l’action, le lieu, l’ambiance, etc.
• Plus la description est détaillée et précise, plus le résultat sera précis et cohérent.

2. Analyse et traitement du texte :

• Sora utilise le modèle de langage GPT-4 d’OpenAI pour analyser la description et en extraire les éléments clés.
• Il identifie les concepts visuels, les relations entre eux et les intentions de l’utilisateur.

3. Génération de l’image vidéo :

• Sora s’appuie sur un modèle de génération d’images de type DALL-E 3 pour créer des images à partir des concepts visuels identifiés.
• Il utilise une technique de « récapitulation » pour générer des légendes descriptives des images et garantir leur cohérence avec la description textuelle.

4. Assemblage des images en vidéo :

• Les images générées sont ensuite assemblées pour créer une vidéo fluide et cohérente (du moins c’est le résultat attendu, mais si parfois ce n’est pas le cas !).
• Sora peut également générer des transitions et des effets spéciaux pour agrémenter la vidéo.

5. Ajustement et finalisation :

• L’utilisateur peut visionner la vidéo générée et apporter des ajustements à la description textuelle si nécessaire.
• Il peut également choisir de modifier la durée de la vidéo, le style visuel, etc.

Points importants à retenir:

• Sora est encore en phase de développement et n’est pas accessible au grand public.
• Son utilisation nécessite une certaine expertise en matière de langage naturel et de génération d’images.
• Les vidéos générées par Sora peuvent être très réalistes, mais il est important de garder à l’esprit qu’il s’agit d’une technologie de synthèse d’images et non d’une captation de la réalité.

Sora : de l’excellent, du bon et… du très mauvais

Si certains résultats sont bluffants, d’autres tests se montrent carrément décevants, voire ridicule. Si le grand public ne peut pas tester directement Sora, il est possible de suggérer sur X/Twitter à Sam Altman des idées de prompts qu’il soumet lui-même à sa nouvelle IA. Et même quand le rendu est mauvais, le PDG d’OpenAI joue la transparence et partage :

https://twitter.com/sama/status/1758218820542763012?ref_src=twsrc%5Etfw

Mais d’autres exemples donnent vraiment envie de jouer avec cette nouvelle IA générative :

https://twitter.com/OpenAI/status/1758192962755051792?ref_src=twsrc%5Etfw https://twitter.com/OpenAI/status/1758192960116785459?ref_src=twsrc%5Etfw https://twitter.com/PranavArya37/status/1758228951829193035?ref_src=twsrc%5Etfw https://twitter.com/PranavArya37/status/1758233140810633589?ref_src=twsrc%5Etfw https://twitter.com/_tim_brooks/status/1758959726933774489?ref_src=twsrc%5Etfw

SOUTENEZ WE DEMAIN, SOUTENEZ UNE RÉDACTION INDÉPENDANTE
Inscrivez-vous à notre newsletter hebdomadaire
et abonnez-vous à notre magazine.