Le monde de la création cinématographique évolue rapidement, notamment grâce aux outils d’intelligence artificielle qui offrent des possibilités infinies. Nous avons formé une équipe de trois passionnés pour relever un défi audacieux : créer un film en 48 heures, lors du concours « GEN:48 » de Runway, où les participants doivent produire un court-métrage de 1 à 4 minutes en seulement deux jours, avec des contraintes narratives imposées.

Voici comment nous avons tiré partie de l’IA pour créer un film dans un univers dystopique.

Le défi : Thème, personnages et environnement imposés

Le concours GEN:48 impose aux participants de choisir parmi une liste d’éléments narratifs. Le 1er défi était de sélectionner un accident narratif, un personnage principal, et un environnement. Notre choix s’est porté sur un thème effrayant, futuriste et probable : La guerre des nuages.

Dans un avenir dystopique, les nations s’affrontent pour le contrôle de la pluie, manipulant les nuages pour s’assurer des ressources vitales. Cependant, l’utilisation massive de produits chimiques a provoqué une catastrophe : le ciel s’embrase et un chaos apocalyptique s’installe. Le film suit un grand-père et ses petits-enfants, confinés dans leur maison, alors que le vieil homme partage ses souvenirs avec sa petite-fille sur le monde d’avant la guerre des nuages.

On vous présente Lya, qui rêve de retourner dans le passé

Étape 1 : La création du scénario et du storyboard

Après avoir choisi le thème, le personnage et l’environnement, notre équipe s’est attelée à l’écriture du scénario. Le grand-père, sage et mélancolique, devient le narrateur d’un passé révolu, une époque où la guerre des nuages n’avait pas encore dévasté la planète.

Le storyboard a ensuite été esquissé sur un tableau, avec des images clés représentant les moments forts du film : le ciel en flammes, les enfants contemplant ce paysage apocalyptique depuis leur abri, et les souvenirs du grand-père. Les souvenirs servent de support à l’imagination de Lya, qui voit et se promène alors dans ce monde révolu.

Étape 2 : Génération des images via Midjourney

Pour donner vie à l’univers de nos 3 personnages, nous avons utilisé l’IA pour créer des images fixes. Grâce à Midjourney, une plateforme spécialisée dans la génération d’images à partir de prompts textuels, nous avons décrit chaque scène du film dans le thème de la guerre des nuages. Si l’IA s’est révélée parfois capricieuse et que nous avons eu fort à faire avec les prompts pour obtenir le résultat qu’on imaginait, elle s’est néanmoins révélé une assistante qui nous offrait de belles surprises dans les rendus.

Les prompts ont été soigneusement formulés pour correspondre à l’esthétique dystopique recherchée : « ciel en flammes », « nuages toxiques », « enfants regardant un ciel apocalyptique depuis une fenêtre », « grand-père qui se rémèmore ses souvenirs ». Ces descriptions ont permis à Midjourney de générer des visuels qui traduisent bien l’ambiance sombre et mélancolique de notre scénario.

Image fixe réalisée dans Midjourney

Étape 3 : Animation avec Runway

Une fois les images générées, nous les avons importées dans Runway, un autre outil IA, pour les animer. Le processus consistait à transformer ces images statiques en courtes séquences vidéo. L’IA générative vidéo de Runway propose d’animer des séquences de 5 à 10 secondes. Chaque séquence était minutieusement ajustée pour garantir une fluidité et une cohérence visuelle entre les différentes scènes du film.

Pour réaliser le film, les membres de Runway offrait 300 000 crédits aux équipes candidates. 10 secondes de vidéos « coûtait » l’équivalent de 100 crédits. Nous avons obtenu plus de crédits que nécessaire pour réaliser notre film de 3 minutes 30. Notre soldes à la fin du week end s’établissait à 205 000 d’unités restantes. Malheureusement, cette coquette somme s’est effacée dès la fin du concours…

Vidéo Runway à partir de l’image réalisée dans Midjourney

Étape 4 : Voix off et synchronisation avec l’IA

Le film ayant une dimension narrative importante, l’équipe a choisi d’utiliser une voix off pour donner vie au monologue du grand-père. Grâce à une IA (proposée également dans le logiciel Runway) de génération vocale, ils ont pu créer une voix crédible, chargée d’émotion, correspondant au personnage. Le défi consistait ensuite à synchroniser cette voix avec les mouvements des personnages dans les séquences animées.

L’IA a également permis de moduler la voix pour refléter les différents moments d’émotion : les souvenirs heureux, les regrets, et l’espoir que le grand-père tente d’offrir à ses petits-enfants malgré la situation désespérée.

Étape 5 : Montage final sur Adobe Premiere

Enfin, après avoir généré et animé les images, et ajouté la narration vocale, nous avons utilisé Adobe Premiere pour monter le film. Ce logiciel de montage nous a permis d’assembler les différentes séquences, de peaufiner les transitions, et d’ajouter une bande sonore pour renforcer l’atmosphère immersive de l’univers dystopique dans lequel évoluent les personnages.

Nous tenons à remercier Ji Drû et Sandra Nkaké pour leur aimable accord d’utilisation de la chanson « Les Sirènes » de l’album « Fantômes » dont l’ambiance collait à merveille avec l’univers de « Cloud Wars ».

Nos conseils

A la fin de cette expérience stimulante et riche en apprentissages plus fins des outils IA, nous pourrions vous apporter quelques conseils pour maximiser vos conseils de réussite.

– Commencez par bien définir votre concept et votre scénario : L’IA est un outil puissant, mais elle nécessite des instructions claires. Investissez du temps dans l’élaboration de votre histoire et de votre storyboard.

– Utilisez des prompts précis et détaillés pour générer les images via des outils comme Midjourney, en veillant à bien décrire l’ambiance, les couleurs, et les détails visuels.

– Pour l’animation, Runway vous permet de transformer des images statiques en séquences dynamiques, mais il est essentiel de planifier chaque mouvement pour que l’ensemble reste fluide.

– Ne négligez pas la voix off et la synchronisation des dialogues. Choisissez une IA de génération vocale adaptée à votre style narratif et faites attention à la correspondance entre la voix et les émotions visuelles.

Enfin, pour le montage, utilisez un logiciel comme Adobe Premiere, Final Cut ou autres dans lequel vous êtes à l’aise pour peaufiner chaque détail, des transitions à la musique, en passant par les effets sonores, afin de créer une œuvre cohérente et immersive.

On vous laisse découvrir le résultat, en espérant que vous prendrez autant de plaisir à le voir que nous en avons pris à le réaliser 📽️

Cloud wars - 3rd edition of Gen:48 by Runway

Les sous-titres sont disponibles en français et anglais sur Youtube
(Sous-titres également générées en IA à l’aide de Runway)

Sources

Photos, vidéo et scénario : Stéphane Nicolas, François Guibilato, Nils Tavernier et Romane Nicolas.

Lexique

IA générative : type d’intelligence artificielle capable de créer de nouveaux contenus, tels que du texte, des images, des vidéos, ou même de la musique, en s’appuyant sur des exemples existants. Contrairement à l’IA traditionnelle, qui se contente d’analyser des données et de prendre des décisions sur cette base, l’IA générative « génère » du contenu original en apprenant à partir de grands ensembles de données. Par exemple, elle peut écrire des articles, produire des images réalistes à partir de descriptions textuelles (comme dans le cas de Midjourney), ou créer des animations. Ces modèles fonctionnent souvent grâce à des réseaux neuronaux, comme les modèles de langage GPT ou les réseaux génératifs adversaires (GANs), qui imitent la créativité humaine en modélisant les structures et les styles des données d’entraînement.