Il existe une nouvelle suite de création optimisée pour Unity 3D qui utilise la capture de performances Live2D via la boîte à outils de réalité augmentée ARCore de Google. Le logiciel permet un suivi facial en temps réel via une caméra Web ou un autre appareil de capture, avec une sortie rendue ayant lieu lorsque les performances ou les mouvements sont visualisés.

Denchi Soft a déployé une vidéo de près de dix minutes pour montrer comment le logiciel fonctionne et démontrer ce que vous pouvez attendre du kit lorsqu'il sera finalement rendu public au cours du premier trimestre de 2020.

Vous pouvez consulter la démonstration vidéo ci-dessous.

Ainsi, comme le montre la vidéo, les données faciales sont lues et stockées par ARCore, puis introduites dans le pipeline d'apprentissage neuronal Tensor Flow connecté au Barracuda d'Unity 3D. De là, les données sont transmises via un protocole UDP vers le Studio VTube frontal tout en utilisant les animations Live2D et les contrôles de l'interface utilisateur.

Après avoir couvert les bases du fonctionnement du logiciel, nous avons ensuite une démonstration de la manière dont la teinte de couleur et l'éclairage rendu physique peuvent également être appliqués aux modèles Live2D, créant la perception d'un éclairage dynamique en temps réel.

Vous pouvez également personnaliser l'arrière-plan, importer différentes scènes et même configurer des raccourcis clavier afin de pouvoir modifier les expressions faciales, charger des macros personnalisées et créer des réactions spécifiques pour animer le flux en direct.

Il existe déjà des solutions 3D qui se comportent de la même manière que Studio VTube peut le faire, mais si vous étiez plus intéressé par l'utilisation de personnages dessinés à la main, comme illustré dans la vidéo ci-dessus, alors Studio VTube est définitivement la voie à suivre.

Si YouTube n'implosait pas, je dirais probablement qu'il y avait des temps passionnants à venir pour les tubes virtuels, mais pour le moment, cela ne semble pas trop beau pour les amateurs qui cherchent à se lancer dans la création de contenu, à moins bien sûr que vous ne le fassiez que pour le diable de ne pas générer réellement de revenus significatifs de l'effort.

Vous pouvez en apprendre davantage sur Studio VTube de Denchi Soft en consultant le Page GitHub.

(Merci pour le conseil nouvelles Wondy Bergers)