O Google tenta replicar a sinestesia com seu último experimento

10 de fevereiro de 2021 0 120

‘Play a Kandinsky’ usa aprendizado de máquina para trazer sons para uma das pinturas do artista.

O Google Arts & Culture se associou ao Centre Pompidou, um complexo cultural de Paris, para homenagear Vassily Kandinsky com uma exposição virtual das obras da artista e outros documentos. Você pode ver algumas das peças de Kandinsky em uma galeria de realidade aumentada. No centro da exposição está um experimento de aprendizado de máquina que tenta replicar a sinestesia, uma condição que o pioneiro da arte abstrata tinha.

Em suma, a sinestesia transforma informações que estimulam um de seus sentidos em uma experiência multissensorial. Para algumas pessoas (incluindo Kandinsky, Billie Eilish e Pharrell Williams), a condição aprofunda a associação entre cores e sons ou humores.

“Quando Kandinsky pintou, dois sentidos trabalharam sistematicamente juntos: audição e visão”, escreveu Serge Lasvignes, presidente do Centre Pompidou, em um blog . “Cores e formas traduzidas em sons, harmonias e vibrações feitas de linhas e padrões.” Ele ouviu vermelho como um violino e amarelo como uma trombeta, por exemplo.

Para o experimento “Toque um Kandinsky” , o Google e o centro recrutaram os músicos experimentais Antoine Bertin e NSDOS em uma tentativa de transmitir o que Kandinsky pode ter ouvido enquanto criava sua arte. Eles analisaram notas de Kandinsky sobre os efeitos sinestésicos que ele sentiu e tentaram replicar os sons que o artista pode ter encontrado ao pintar sua obra de 1925 “Yellow Red Blue”.

A equipe treinou a rede neural Transformer do Google usando música da época em que Kandinsky estava por perto. O sistema então criou novas partituras para tentar determinar como a pintura pode soar de uma perspectiva atual.

Você pode clicar e ampliar partes da pintura para experimentar os sons que a equipe (e talvez Kandinsky) associou às formas e cores. Você tem a opção de criar sua própria mixagem de som e compartilhá-la também. 

Aqueles de nós que não têm sinestesia podem nunca entender totalmente como são essas experiências multissensoriais, e quem as tem pode ouvir sons totalmente diferentes quando vêem as mesmas cores. Ainda assim, o experimento é fascinante, pois parece dar pelo menos uma ideia de como é ter vários sentidos ativados pelos mesmos estímulos.

Google