X but synth
x but synth
[x but y]
obra, o material preexistente / condicional
Este concepto nace de una investigación que intenta dar entidad a ciertos fenómenos de la cultura de Internet: Memes, Shitposting en Youtube y Vines, entre otros. El proceso abstraído del estudio de los mismos está relacionado con la lógica de la plantilla: se toma algo dado y se opera mediante una variación de algún tipo. Esto devuelve un resultado que genera implicancias semióticas entre lo que ocurre en un principio de la cadena y el otro.
síntesis
El proyecto consiste en el desarrollo de un software que permita aplicar el concepto de x but y a la síntesis sonora y su implementación en un sitio web interactivo.
objetivos
- Explorar posibilidades de síntesis sonora a partir de inteligencia artificial.
- Generar una plataforma abierta de exploración sonora que permita el acercamiento intuitivo a la generación de sonidos.
- Generar un banco de sonidos de acceso y uso público.
desarrollo conceptual
Creemos que a partir de esta clave de lectura se pueden interpretar una multiplicidad de fenómenos: desde fenómenos evolutivos, donde la mutación se da a través de la variación randomizada de alguna elemento de la cadena de ADN, hasta casos como la obra de Pablo Katchadjian, “El martín fierro ordenado alfabéticamente”, en la que toda la obra de José Hernández se ve indexada y ordenada en base a la primer palabra de cada verso. Ambos casos están relacionados con tomar algo existente y variarlo. En este sentido, entendemos que los sistemas evolucionan por la diferenciación de sus partes, tendiendo hacia la complejización.
justificación
La opción histórica que brindaron la industria y los fabricantes frente a la complejidad de la síntesis fueron los presets. En cualquier dispositivo puede optarse por utilizar estas configuraciones de fábrica o modificarlas para adaptar el sonido a uno deseado.
Ambas situaciones presentan problemáticas: en el primer caso, la homogeneización de la producción sonora y en el segundo, el hecho de que los medios a disposición para la síntesis sonora (adictiva/substractiva, fm, granular) son a menudo técnicos, e implican una serie de conocimientos previos complejos.
Creemos que desarrollando herramientas intuitivas de diseño sonoro podemos ofrecer una manera de ampliar el imaginario sonoro presente y que la inteligencia artificial puede ayudar a desarrollar e implementar.
memoria descriptiva
En el incipiente campo de la síntesis sonora basada en machine learning, abundan las ideas, pero son escasos los ejemplos. Nsynth es un proyecto desarrollado por Google que permite elegir dos sonidos entre una docena de ellos y modular tímbricamente entre uno y otro. Cuenta con dos versiones: una web, en la que la modulación se lleva a cabo mediante un fader lineal. La otra versión consiste en un dispositivo físico que incluye un pad táctil que permite modular entre 4 sonidos. Otro antecedente en el campo es Flow Synthesizer, un proyecto apoyado por el IRCAM que combina algunos de los elementos utilizados por el Nsynth. En este caso pero al utilizar timbres más complejos (y métodos más sofisticados de codificación y decodificación) obtiene resultados más variados. ArtBreeder es un proyecto del artista digital Joel Simon. Consiste en una página web que permite generar nuevas imágenes a partir de una existente basada en algoritmos de inteligencia artificial. Podemos optar por subir una nueva imágen o utilizar una del repositorio que se nos propone. A partir de ella, podremos generar nuevas imágenes con un mayor o menor grado de similitud con respecto a la primera.
descripción del sitio web
A continuación detallaremos en qué consistirá la experiencia del usuario de la página web.
generación de sonidos
La interfaz gráfica de la página nos propondrá utilizar un sonido dentro del repositorio de sonidos creados por otros usuarios o cargar un sonido propio. Luego de analizarlo y preguntarnos el grado de similitud que queremos lograr, la pantalla generará 6 nuevos sonidos, los cuales podremos reproducir individualmente.
almacenamiento
Para utilizar la web, deberá generarse un usuario. Cada sonido generado podrá ser almacenado su cuenta, a manera de packs de samples, así como también en el repositorio de la página. Se le pedirá al usuario que lo nombre y agregue descriptores tímbricos en base a un listado de opciones. Este material será descargable por cualquier usuario.
procedimiento
El primer paso para llevar adelante el proyecto consiste en tomar una base de datos de sonidos en base a la cual entrenar el algoritmo. En principio utilizaremos una aplicación en TensorFlow de Wavenet, un algoritmo desarrollado por DeepMind para realizar síntesis de voces humanas en conjunto con un otro algoritmo para optimizar el proceso. El software estará diseñado para partir de un sonido X y buscar sonidos cercanos en un espacio vectorial latente. Esto significa que generará sonidos de similitud variable de manera automática en base la información con la que fue entrenado.Para esto utilizaremos los bancos de sonidos de librerías gratuitas de los sitios beatproduction.net y samplephonics.com
.
Para el entrenamiento del algoritmo utilizaremos los servidores de Google Collaboratory, el cual permite almacenar y ejecutra el código en servidores de Google de manera gratuita y utilizar hardware de alta capacidad para entrenar el algoritmo.
Una vez terminada la etapa de programación y entrenamiento del algoritmo, realizaremos pruebas para mejorar el resultado sonoro.
En paralelo a esto habremos desarrollado la interfaz gráfica de la página en la cual podremos implementar el software y comenzar a difundir el proyecto para su uso.
Cronograma
| Tarea | Tiempo estimado |
|---|---|
| Limpieza y clasificacición de datos | 1 semana |
| Programación: Desarrollo del modelo | 1 semana |
| Entrenamiento del algoritmo | 1 semana |
| Testeo de resultados parciales, correción de errores y optimización | 1 semana |
| Diseño y Desarrollo del sitio web | 1 semana |
| Implementación del software en la web y testeos | 1 semana |
| Difusión | 1 mes |
presupuesto
| Rubro | Monto |
|---|---|
| Programador especialista en DataScience | $40000 |
| Diseñador UX | $5000 |
| Marketing y publicidad | $15000 |
| Hosting del sitio web por 2 años | $6000 |
| Monto total | $66000 |