mailoman
Tout le monde en parle sur les réseaux, voici la dernière folie qui va révolutionner la création graphique !
Text2NeRF, un modèle d’intelligence artificielle pour créer des scènes 3D à partir d’un prompt.
Text2NeRF est un nouveau modèle qui transforme les descriptions de texte en scènes 3D dans une variété de styles artistiques différents. C’est comme si votre ordinateur était un artiste 3D et que vous lui donniez un briefing en quelques mots pour générer une scène comme celle-ci :
Champ de rayonnement neuronal
Text2NeRF utilise un champ de rayonnement neuronal (Neural Radiance Field = NeRF) pour représenter « implicitement » la scène 3D. En d’autres termes, il utilise un réseau neuronal pour modéliser la profondeur de chaque point dans l’espace 3D.
Un modèle de diffusion couplé à un modèle de gestion de la profondeur
Un modèle texte-image pré-entraîné (modèle de diffusion latente) génère une version approximative de la scène sur la base de la description du texte. La structure 3D est ensuite déterminée par une méthode d’estimation monoculaire de la profondeur.
Illustration :
L’inpainting pour générer les parties masquées
Pour s’assurer que le rendu de la scène 3D est correct quel que soit le point de vue, une stratégie d’inpainting génère les parties cachées de l’image lorsqu’on déplace le point d’observation.
Des résultats très prometteurs
Les résultats montrent que Text2NeRF surpasse les méthodes existantes en créant des scènes 3D réalistes, multi-vues, cohérentes et diverses à partir d’une variété de descriptions textuelles.
Text2NeRF ne se contente pas des styles photoréalistes mais peut également travailler sur de nombreux styles graphiques (cartoon, fantasy, surréaliste…), de la même manière que Midjourney et Stable Diffusion.
Génération de scènes 3D à 360°
Text2NeRF peut également générer des scènes à 360°… Imaginez ce que ça pourrait donner pour la création de jeux vidéo ou la réalité virtuelle !
Pour en savoir plus sur Text2NeRF
Ces recherches nous viennent de l’Université de Hong Kong et du laboratoire de recherche Tencent AI. Envie d’en savoir plus ?
Le papier de recherche est ici : https://arxiv.org/abs/2305.11588
La page Github du projet : https://eckertzhang.github.io/Text2NeRF.github.io/
