Les Intelligences artificielles génératives sont en plein essor depuis un an ! Elles permettent, à partir de quelques mots, de créer des images incroyables, d’écrire des poèmes et même de synthétiser des voix pour les lire.. - Et jusqu'à ce jour, le robot continuera sa quête. Sur la Lune, il explore, il rêve, il conquiert. Cette technologie de pointe va surement transformer tous les domaines culturels, et notamment l’industrie des jeux vidéo. À Paris, dans le 19ème arrondissement, une start-up s’est lancée dans la course à l’IA depuis 2 ans : - Nous on est X&Immersion, et on fait de l’IA générative pour le jeu vidéo. Donc on est vraiment basés sur l’interaction homme-machine, donc homme et personnage non-joueur, "PNJ" comme on les appelle dans le jeu vidéo. On fait du texte, de la voix et de l’animation. - Si on veut qu’il blink... Leur idée : Fournir des outils pour automatiser la création des dialogues des personnages secondaires. Il faut d’abord définir ce qu’il va dire, puis synthétiser une voix, et pour finir animer le visage du personnage . - Bonjour à tous, je m'appelle Marc. Première étape : demander à l’ordinateur d’écrire les textes. - On va générer des phrases, pour faire parler le personnage. Typiquement, là, c’est Gerda, elle travaille dans un château. Imaginons, je suis un narrative designer, j’ai envie de générer plein de phrases pour qu'elle puisse dire ce qu'elle fait comme métier. C’est le même fonctionnement de ChatGPT. C’est aussi des transformers, donc des modèles d'IA qui permettent par analogie de générer du texte. Ces modèles ont déjà compris ce que c’est un verbe, un adjectif, ce genre de choses... Nous, ce qu’on va faire : on va les entraîner sur du dialogue, parce que le but, c’est justement qu’on garde un contrôle créatif sur les histoires et sur les personnages. Notre idée, c’est de prendre ces descriptions, ces briefs des scénaristes, des narrative designers, et d'entraîner les modèles avec ça. - Du coup on va démarrer notre réunion. Merci beaucoup d’être venus, c’est cool ! - Merci ! Contrairement à ChatGPT, les IA de X&Immersion sont spécialisées. Elles ne sont uniquement entrainées qu’avec les informations fournies par leurs clients afin de protéger leurs droits d’auteur. Alexandra et Jérémie, qui travaillent pour un studio indépendant, sont en train de créer un jeu et espèrent accélérer la production des dialogues par l’IA pour offrir aux joueurs une expérience inédite. - Nous travaillons sur un projet de jeu qui se situe sur une île paradisiaque en monde semi-ouvert et le joueur va incarner un reporter qui cherche le scoop et le meilleur article chaque jour. L’idée c’est que le joueur constate les effets des articles qu’il a choisi de publier chaque jour. Il est libre d'aller consulter certains contenus ou non, de les écouter ou pas, de faire le cheminement qu'il souhaite. Donc là, c'est vraiment aussi un moyen d'inciter les créateurs à assumer qu'il y a une perte de contrôle dans la façon dont le jeu va être vécu par les joueurs. - On a des arbres de ramification énormes avec environ 10 000 à 5 000 possibilités. On ne peut pas prévoir 10 000 à 5 000 lignes de possibilités par personnage, donc, de fait, on utilise la technologie de X&Immersion pour pouvoir essayer de faire en sorte que, de manière intelligente, les gens vont réagir, faire une petite blague... De la consistance à l’univers en fonction de ce que va faire le joueur. Ça permet à moindre coût, - parce que l’argent reste le nerf de la guerre dans le jeu vidéo - de pouvoir avoir un ensemble de phrases, de contextes plus ou moins cohérents, plus ou moins drôles, en fonction de la personnalité qui a été définie pour chacun des personnages de l’univers. 10.000 lignes de dialogue, une quantité impressionnante, mais ces IA ne sont pas encore parfaites, et chez X&Immersion, on aime bien évaluer la satisfaction de ses clients par rapport aux textes générés avant qu’ils ne soient publiés… et notamment à cause des hallucinations. - Quand on dit qu’une IA hallucine, en fait, l’idée, c’est qu’elle va dire quelque chose, produire quelque chose qui est complètement aberrant par rapport à ce qu’on lui a demandé. Il y a encore plein de choses qui sont fiables à, on va dire, 95-97-98 %. C’est à ce moment-là que l’humain va pouvoir corriger, invalider des générations. Nous, on va pouvoir faire 80% de son travail instantanément, et ensuite, lui laisser à lui toute la partie un peu plus créative, artistique, pour donner vraiment vie à un personnage, lui donner une personnalité. Mais il n’y a pas que les studios indépendants qui ont recours à l’IA pour accélérer leurs créations. En mars 2023, Ubisoft, le géant européen du gaming, a annoncé avoir créé en interne son propre outil d’aide à l’écriture. Appelé Ghost Writer en anglais, ce prête-plume numérique permettrait aux scénaristes d'augmenter la cadence… Et dans le jeu Skyrim, des joueurs ont réussi à intégrer directement ChatGPT dans un des personnages secondaires. En suivant cette modification, il est ainsi possible de se faire accompagner par une guerrière appelée Herika. Le joueur parle dans le micro, sa voix est enregistrée, convertie en texte, puis est envoyé à ChatGPT qui va générer une réponse. Le texte est ensuite converti en voix de synthèse et est renvoyée au moteur du jeu. Cette modification n’est pas officielle, mais elle préfigure bien les jeux du futur. Chez X&Immersion, on se concentre aussi sur les étapes suivantes, qui consistent à générer la voix de synthèse et à automatiser l’animation des visages. - Maintenant qu’on a récupéré toutes les phrases, on va venir les copier-coller dans notre outil de génération de synthèse vocale, et ensuite, l’objectif est d’importer l’audio et d’avoir la synchro labiale entre l’audio et l’animation. Donc l’audio va se synchroniser instantanément avec le mouvement des lèvres. - Enchantée de te rencontrer. Je m’appelle Géra et je travaille au château depuis de nombreuses années. C’est gentil de prendre le temps de me tenir compagnie, les journées peuvent être un peu longues. - Il y a des animateurs 3D qui viennent tout faire à la main... donc ça prend beaucoup de temps et puis c’est ultra rébarbatif. Nous, l'outil que l'on développe permet vraiment de se concentrer sur les parties vraiment fun de l’animation 3D. En plus de ça, on a une brique qu’on est en train de développer, qui est l’émotion. Comment, en fonction de mon discours, je peux avoir le visage qui change d'émotion. On peut en temps réel passer de : "je suis hyper content" à "là, il y a un truc qui me rend un peu nerveux…" et vraiment voir la différence sur le visage. Des technologies innovantes que cette jeune entreprise va devoir défendre dans un milieu de plus en plus concurrentiel. Les jeux vidéo sont la plus grosse industrie de divertissement devant le cinéma et la musique réunis. Ils attirent de nombreux acteurs comme le géant taiwanais des cartes graphiques, NVIDIA, qui se lance également dans l’IA générative pour les jeux. Des investissements colossaux qui vont transformer l’industrie du jeu dans les mois à venir mais qui requièrent énormément de données et de temps de calcul pour s'entraîner… Cette IA n’est peut être pas une solution miracle. À Paris, la société SpirOps développe des outils intelligents sans faire appel aux algorithmes d’apprentissage profond. Ils sont capables de créer des villes en 3D à partir de simples cartes, puis de les peupler de personnages autonomes. - Une fois qu’on a généré la ville, on va pouvoir faire une simulation complexe dans des environnements chaotiques, urbains. On est loin d’une démarche robotique, on veut au contraire simuler le plus finement possible la réalité et ça c’est quelque chose qui peut rendre très réaliste et ajouter vraiment de la vie dans du jeu vidéo. Cette méthode est plus sobre qu’un algorithme d’apprentissage car elle se base sur plein de petites règles combinées les unes aux autres, et ne requiert pas des milliers de données pour s'entraîner. Autre avantage : il est possible de comprendre un résultat quand il n’est pas comme attendu. - Une des grandes différences aussi, c’est que, comme nos comportements, on les a expliqués avec des règles, on peut très bien, quand il y a un problème, quelque chose qui visuellement ne nous va pas, on va pouvoir reproduire, déjà ça va être déterministe. Si les entrées sont les mêmes, les sorties vont être les mêmes, contrairement à beaucoup d’IA plus modernes. Et en plus de ça, on va pouvoir avoir l’explicabilité de tous les petits comportements que j’ai mentionnés, et savoir pourquoi untel ne fonctionne pas ou est trop dominant par rapport à d’autres. Il n’y a aucune boîte noire. Les ingénieurs auront toujours tendance à rendre les machines de plus en plus intelligentes… Reste à voir comment cette industrie va trouver un nouvel équilibre et préserver les métiers créatifs qui restent indispensables au supplément d'âme et au succès des jeux.