Ya está disponible el modelo desarrollada por la Comunidad FUTURX junto a LARROSA en el marco del 1° Reporte sobre IA+Música en LATAM. Se trata de un estudio profundo sobre la clonación de voz y creación de obra que explora los cruces entre los procesos creativos y las tecnologías de inteligencia artificial (IA) generativa. En este articulo, te contamos el proceso de creación y cómo puedes experimentar con esta herramienta tu mismo.
VOZ CANTORA LATAM es un estudio profundo sobre la clonación de voz y creación de obra que explora los cruces entre los procesos creativos y las tecnologías de inteligencia artificial (IA) generativa. El proyecto, que está descrito en detalle en el capítulo de Modelos de USO del reporte IA + Música en LATAM fue realizado de manera colaborativa por artistas de Amplify (Berenice Llorens y Pol Lain) y los equipos de Larrosa y FUTURX.
El modelo VOZ CANTORA LATAM fue creado a partir de muestras de voces de cantoras de la música popular de Latinoamérica, reuniendo sus timbres y combinándolas en una única y nueva voz. Para ello se utilizaron entrevistas y canciones de Violeta P, Mercedes S, Gild, Rita L, Elsa S, Selena Q, Chavela V, Tita M y copleras del noroeste argentino. Estas voces fueron el dataset para crear una expresión única y completamente nueva que contiene la esencia de todas y cada una de las artistas.
Desde su concepción, VOZ CANTORA LATAM buscó trascender la clonación de una voz convencional. Se propuso una invención con el potencial de combinar el poder y el arte de muchas de las cantautoras de Latinoamérica en un solo discurso.
Además, para llevar a cabo el proyecto, se creó una letra con métrica de copla utilizando ChatGPT4 y analizando las percepciones sobre la inteligencia artificial de las encuestas realizadas para el reporte IA + Música en LATAM. La base rítmica, tímbrica y melódica, fue el resultado de una exploración de texturas sonoras a partir de los audios generados por la IA de Ktonal.
Esta búsqueda creativa se tradujo en la obra "A veces con pena, a veces con esperanza" que fue compuesta por Berenice Llorens, Pol Lain y Maia Koenig e interpretada por Pol Lain, Berenice Llorens y Voz Cantora Latam. Por su parte, la creación y personalización de la dataset para la cantora estuvo a cargo de Pedro Borges. La letra principal fue realizada por Nicolás Madoery, a través de ChatGPT4 usando code interpreter de información de la encuesta del reporte. La edición, mix y master estuvo a cargo de Berenice Llorens, quien también desarrolló el arte de tapa junto a Leonardo.AI. Por último, la coordinación y producción estuvo a cargo de Anselmo Cunill.
El modelo VOZ CANTORA LATAM está disponible para probar y experimentar en Linkfeat, donde puedes subir audios de voz y probar los resultados de una manera muy sencilla. Para ello, te debes registrar en dicha web e ingresar en la sección royalty free seleccionando Voz Cantora Latam V4. Luego, cargar los audios en formato.wav (menores a 30 mb).
Para llevar a cabo el experimento, se utilizaron diversas plataformas:
Ktonal: Herramienta de audio generativo, para la generación de nuevos samples.
SO Vits: Herramienta de entrenamiento de modelos de voz.
RVC: Herramienta de entrenamiento de modelos de voz de mayor complejidad.
ChatGPT4: Para la creación de la letra utilizando de dataset información cualitativa de la Encuesta que forma parte de la investigación.
Moises: Para la separación de pistas vocales.
Linkfeat: Se alojó el entrenamiento de la cantora en esta plataforma para facilitar su uso y exploración.
Ableton live: DAW donde se produjo, mezcló y masterizó la obra.
Para entender el marco de este experimento, puedes descargarte el reporte sobre Musica + IA en LATAM AQUI.
Comments