Magenta est un programme de recherche open source qui vise à expérimenter et à créer des liens entre Art et l’intelligence artificielle. Avec le soutien d’expert en technologies comme Google, le projet a déjà donné lieu à des premiers résultats mais Tone Transfer est probablement le plus abouti aujourd’hui.
L’idée est très intéressante : transformer un son en musique jouer par un instrument précis.
Comme souvent, une vidéo permet de bien comprendre :
Et bien sûr, l’autre bonne manière d’en savoir plus est de tester par soi même sur le site : https://sites.research.google/tonetransfer
Ce qui est intéressant c’est que les chercheurs ont utilisé une bibliothèque DDSP (Differentiable Digital Signal Processing) et modifiant les paramètres de ces Digital Signal Processors, il est possible de produire les sons des instruments.
Tous les détails sur le blog de Magenta https://magenta.tensorflow.org/ddsp
