Este artículo está basado en una conversación con Shane Guffogg, un artista estadounidense que a principios de este mes presentó en la Bienal de Venecia una exposición de 21 cuadros titulada At the Still Point of the Turning World - Strangers of Time ("En el punto muerto del mundo que gira: extraños del tiempo"). La conversación ha sido editada por razones de claridad y extensión.

Tengo sinestesia, lo que quiere decir que oigo el color.

Por eso es importante lo que escucho cuando pinto. Escucho música clásica india, cantos gregorianos y algunos compositores desconocidos como György Ligeti, Leo Ornstein y Terry Riley. La música despierta mi creatividad y me permite estar completamente presente y en ese momento.

Durante años, me ha preocupado cómo podrían sonar mis cuadros. La revolución de la inteligencia artificial me empujó a buscar expertos que pudiesen ayudarme. Mi primer punto de contacto fue Radhika Dirks, experta en IA y computación cuántica. Tuvimos un par de sesiones de Zoom y me dijo —bajo su punto de vista— que ningún programa de inteligencia artificial podía ayudarme. 

En su lugar, me sugirió que crease un alfabeto visual que relacionase los acordes musicales que oía en mi mente con los colores.

Pensé que podría ser una forma de impulsar mi creatividad. También se basaba en la idea de un alfabeto inconsciente que ha inspirado mi arte a lo largo de toda mi carrera.

Me reuní con músicos y expertos en IA para crear un alfabeto visual

Empecé buscando músicos con los que colaborar y conocí a Anthony Cardella, un joven pianista de Los Ángeles increíblemente talentoso. Cardella es estudiante de doctorado en la USC [la Universidad del Sur de California, Estados Unidos] y resulta que conoce —e incluso interpreta— a muchos compositores anónimos que escucho cuando pinto.

Empezamos a colaborar. Nos sentábamos a examinar mis cuadros juntos. Yo ampliaba un color en Photoshop, lo miraba y sentía sensorialmente la nota musical. Luego se lo contaba a Anthony. Le decía, por ejemplo, creo que ese es el color de la nota Si. Él tocaba la Si y yo le decía: "No, no es esa; prueba con Si sostenido...". 

Después de unas cuantas pruebas, de repente daba con las notas correctas. Yo lo sabía porque los colores empezaban a vibrar para mí. Juntos, hemos trazado acordes que corresponden a 40 colores.

De van Gogh a Tesla, pasando por Marilyn Monroe: el extraño fenómeno que les hacía ver el mundo muy distinto

Poco después, conocí a un investigador especializado en inteligencia artificial llamado Jonah Lynch a través de contactos mutuos. Lynch trabaja en la intersección de las humanidades digitales y el aprendizaje automático. Le invité a mi rancho del centro de California y le expliqué el trabajo que había estado haciendo y cómo creaba mis cuadros. 

Mantuvimos largas conversaciones sobre arte, poesía y la creación de un algoritmo de IA que pudiese alimentarse de acordes.

Jonah desarrolló un programa para "leer'' mis cuadros y convertirlos en música. Le di los colores principales que utilizaba en cada cuadro y los acordes que oía cuando veía esos colores. Vio vídeos míos pintando, estudió el movimiento de mis manos y escribió un programa que sampleaba imágenes de los cuadros siguiendo los movimientos de mis manos y asignaba cada color sampleado de los cuadros a su acorde correspondiente. 

A continuación, introdujo esta secuencia de acordes en una red neuronal que ha memorizado la mayor parte de los últimos 500 años de música para piano. Jonah pidió a la red que "soñase" con nuevas secuencias basadas en las secuencias de colores y acordes, y en la historia de la música occidental para crear páginas de partituras.

Cómo funciona Ideogram AI: la app para generar imágenes con inteligencia artificial

Cuando escuché esa música, se me saltaron las lágrimas. Era solo una versión aproximada de lo que oía mientras pintaba, pero pensé: "Ahí está".

Le llevé la música a Anthony, el pianista. Sorprendentemente, podía señalar la partitura y decirle qué composiciones estaba escuchando mientras pintaba, y él me decía: "Sí, puedo verlo en los acordes". Los ragas indios, los cantos gregorianos, Ligeti y Ornstein, todo estaba ahí.

Aun así, la música era en gran medida una sucesión de acordes en esa etapa. Anthony me dijo que, si las reorganizábamos un poco, podíamos tener melodías.

La inteligencia artificial sigue siendo una herramienta que necesita supervisión humana

Hemos compuesto música para varios cuadros y la hemos interpretado para públicos de todo el mundo. El mes pasado dimos un concierto en el Forest Lawn Museum de Los Ángeles, donde también expuse algunos cuadros. El público podía mirar los cuadros mientras Anthony tocaba, lo que fue una experiencia muy intensa (un par de personas lloraron).

En la inauguración de mi última exposición, durante la semana de apertura de la Bienal de Venecia, Anthony tocó en directo el estreno mundial de una sonata que compuso inspirándose en mi cuadro, Only Through Time Time is Conquered ("Solo a través del tiempo se conquista el tiempo"). 

Después de la actuación, hablé con varias personas y me dijeron que podían ver dónde se encontraban los colores y las notas en el cuadro. Era algo que nunca habían experimentado.

Sé que mucha gente le tiene mucho miedo a la IA, y yo también la veo como una herramienta que necesita supervisión humana. No es un medio para un fin. Aun así, me abrió muchas posibilidades y mejoró mi proceso creativo. No sé si habría podido liberar la musicalidad de mis cuadros de una forma real sin ella.

Aquí puedes escuchar una de las composiciones a las que hace referencia Guffogg: