Nvidia Canvas et intelligence artificielle : l’art au bout du pinceau magique ?

Vous avez sans doute déjà vu les performances de DALL-E 2 qui transforme quelques mots en œuvre d’art surréaliste à la Salvador Dalí (d’où le nom). Rien de magique en cela – même si les résultats sont parfois bluffants – mais une intelligence artificielle longuement entraînée par la start-up OpenAI. Au point que DALL-E 2 a créé dernièrement la couverture du magazine féminin américain Cosmopolitan. En 20 secondes. On y découvre une astronaute qui marche sur la planète Mars dans un éclairage mauve. Avec, en arrière-plan, la galaxie qui s’étend à perte de vue. Nvidia Canvas, lui, aborde la question de la création artistique sous un genre nouveau.

Cette application, actuellement proposée en version bêta pour Windows, est l’œuvre du géant américain Nvidia. Il s’agit d’un groupe spécialisé dans la conception de processeurs graphiques, de cartes graphiques et de puces graphiques. Il a mis au point des pinceaux dotés d’intelligence artificielle. Ils sont donc capables de recréer des éléments à votre demande.

Des pinceaux magiques grâce à l’intelligence artificielle

Cette photo de coucher de soleil est belle mais elle le serait encore plus avec quelques nuages dans le ciel. Cette vue sur les montagnes est sympa mais pas assez bluffante pour être partagée sur Instagram. Et cette vallée ? Elle mériterait un joli lac au milieu pour se démarquer davantage. Quant à ce cliché de la plage, il est gâché par l’absence de vagues dignes de ce nom… Autant de cas de figure qui nous font dire que nos photos de vacances sont sympas. Mais qu’elles n’ont rien de mémorables.

Avec Nvidia Canvas, il est possible d’en créer des nouvelles d’un simple coup de pinceau. Comme le prouve la démonstration ci-dessous, l’application est capable d’imaginer des paysages en fonction de nos envies. À gauche, la personne dessine ce qu’elle a envie de voir sur une image préexistante ou en se basant sur des textures proposées par Canvas (herbe, eau, montagne…).

Il suffit de gribouiller grossièrement à l’emplacement souhaité – avec un stylet ou même du bout du doigt – et l’intelligence artificielle répond immédiatement à notre requête. La démo est frappante :

Du deep learning pour apprendre à “peindre” des éléments réalistes

Depuis plusieurs années déjà, Nvidia travaille sur ce concept d’application permettant de retoucher en profondeur, voire de créer in extenso, une image en conservant un aspect réaliste. En 2019, la firme présentait GauGAN (hommage au peintre Gauguin), un concept qui était capable de transformer une phrase en une oeuvre photoréaliste, comme DALL-E. Mais l’outil était aussi capable de faire d’une esquisse rapide créée par une personne en un paysage criant de vérité. Il a appris à “peindre” des éléments avec des textures (montagne, mer, plage…) plutôt que des couleurs.

En 2021, GauGAN2 éblouissait encore un peu plus par ses performances. Ses performances avaient été décuplées grâce à un entraînement intensif par le biais de 10 millions d’images en haute résolution soumises à l’intelligence artificielle. Nvidia a fini par faire évoluer suffisamment son outil pour lancer sa bêta auprès du grand public.