¿Puede la INTELIGENCIA ARTIFICIAL realmente darnos un vistazo de las obras maestras perdidas?

Los proyectos recientes utilizaron el aprendizaje automático para resucitar pinturas de Klimt y Rembrandt. Plantean preguntas sobre lo que las computadoras pueden entender sobre el arte.

Como parte de un programa de investigación y conservación en curso llamado Operation Night Watch, el Rijksmuseum de Ámsterdam utiliza el aprendizaje automático para decodificar la visión original de Rembrandt van Rijn para The Night Watch, una pieza que se recortó en los cuatro lados para adaptarse a una nueva ubicación en 1715.CORTESÍA DEL RIJKSMUSEUM

EN 1945, el fuego reclamó tres de las pinturas más controvertidas de Gustav Klimt. Encargado en 1894 para la Universidad de Viena, «las pinturas de la facultad», como se conocieron, no se parecían a ninguna de las obras anteriores del simbolista austríaco. Tan pronto como los presentó, la crítica se enfureció por su dramático alejamiento de la estética de la época. Los profesores de la universidad los rechazaron de inmediato y Klimt se retiró del proyecto. Poco después, las obras se abrieron camino en otras colecciones. Durante la Segunda Guerra Mundial, fueron colocados en un castillo al norte de Viena para su custodia, pero el castillo se quemó y las pinturas presumiblemente se fueron con él. Todo lo que queda hoy son algunas fotografías y escritos en blanco y negro de la época. Sin embargo, los estoy mirando fijamente.

Bueno, no las pinturas en sí mismas. Franz Smola, un experto en Klimt, y Emil Wallner, un investigador de aprendizaje automático, pasaron seis meses combinando su experiencia para revivir el trabajo perdido de Klimt. Ha sido un proceso laborioso, que comenzó con esas fotos en blanco y negro y luego incorporó inteligencia artificial y decenas de información sobre el arte del pintor, en un intento de recrear cómo podrían haber sido esas pinturas perdidas. Los resultados son los que me están mostrando Smola y Wallner, e incluso ellos están desconcertados por las cautivadoras imágenes en tecnicolor que produjo la IA.

Dejemos una cosa clara: nadie está diciendo que esta IA está recuperando las obras originales de Klimt. “No es un proceso de recrear los colores reales, es volver a colorear las fotografías”, advierte Smola rápidamente. “El medio de la fotografía ya es una abstracción de las obras reales”. Lo que está haciendo el aprendizaje automático es proporcionar un vistazo de algo que se creía perdido durante décadas.

Smola y Wallner encuentran esto delicioso, pero no todos apoyan que la IA llene estos vacíos. La idea del aprendizaje automático que recrea obras perdidas o destruidas es, como las pinturas de la facultad, controvertidas. «Mi principal preocupación es la dimensión ética del uso del aprendizaje automático en el contexto de la conservación», dice el conservador de arte Ben Fino-Radin, «debido al gran volumen de problemas éticos y morales que han plagado el campo del aprendizaje automático».

Sin duda, el uso de la tecnología para revitalizar las obras de arte humano viene plagado de preguntas espinosas. Incluso si hubiera una IA perfecta que pudiera descubrir qué colores o pinceladas podría haber usado Klimt, ningún algoritmo puede generar la intención del autor. Los debates sobre esto se han desatado durante siglos. En 1936, antes de que las pinturas de Klimt fueran destruidas, el ensayista Walter Benjamin se opuso a la replicación mecánica, incluso en fotografías, diciendo que “incluso la reproducción más perfecta de una obra de arte carece de un elemento: su presencia en el tiempo y el espacio, su singularidad. existencia en el lugar donde se encuentra «. Esto, escribió Benjamin en La obra de arte en la era de la reproducción mecánica, es lo que llamó el «aura» de una obra. Para muchos amantes del arte, la idea de que una computadora reproduzca ese elemento intangible es absurda, si no totalmente imposible.

Sin duda, el uso de la tecnología para revitalizar las obras de arte humano viene plagado de preguntas espinosas. Incluso si hubiera una IA perfecta que pudiera descubrir qué colores o pinceladas podría haber usado Klimt, ningún algoritmo puede generar la intención del autor. Los debates sobre esto se han desatado durante siglos. En 1936, antes de que las pinturas de Klimt fueran destruidas, el ensayista Walter Benjamin se opuso a la replicación mecánica, incluso en fotografías, diciendo que “incluso la reproducción más perfecta de una obra de arte carece de un elemento: su presencia en el tiempo y el espacio, su singularidad. existencia en el lugar donde se encuentra «. Esto, escribió Benjamin en La obra de arte en la era de la reproducción mecánica, es lo que llamó el «aura» de una obra. Para muchos amantes del arte, la idea de que una computadora reproduzca ese elemento intangible es absurda, si no totalmente imposible.

Y, sin embargo, todavía queda mucho por aprender de lo que puede hacer la IA. Las pinturas de la facultad fueron fundamentales en el desarrollo de Klimt como artista, un puente crucial entre sus pinturas anteriores más tradicionales y obras posteriores más radicales. Pero su apariencia a todo color ha permanecido envuelta en un misterio. Ese es el acertijo que Smola y Wallner estaban tratando de resolver. Su proyecto, organizado a través de Google Arts and Culture, no se trataba de reproducciones perfectas; se trataba de dar una idea de lo que falta.

Para hacer esto, Wallner desarrolló y entrenó un algoritmo de tres partes. Primero, el algoritmo se alimentó con unas cien mil imágenes de arte de la base de datos de Google Arts and Culture. Esto le ayudó a comprender los objetos, las obras de arte y la composición. A continuación, se le enseñó específicamente en las pinturas de Klimt. «Esto crea un sesgo hacia sus colores y sus motivos durante el período de tiempo», explica Wallner. Y finalmente, la IA recibió pistas de color en partes específicas de las pinturas. Pero sin referencias de color a las pinturas, ¿de dónde vinieron estas pistas? Incluso la experta en Klimt, Smola, se sorprendió por la cantidad de detalles que revelaron los escritos de la época. Debido a que las pinturas se habían considerado tan sórdidas y extrañas, los críticos tendían a describirlas en detalle, hasta las opciones de color del artista, dice. «Puede llamarlo una ironía de la historia», dice Simon Rein, director del programa del proyecto. “El hecho de que las pinturas causaran un escándalo y fueran rechazadas nos coloca en una mejor posición para restaurarlas porque había tanta documentación. Y ese tipo de puntos de datos, si se introducen en el algoritmo, crean una versión más precisa de cómo probablemente se veían estas pinturas en ese momento «.

La clave de esa precisión radica en emparejar el algoritmo con la experiencia de Smola. Su investigación reveló que el trabajo de Klimt durante este período tiende a tener patrones fuertes y consistencia. El estudio de pinturas existentes antes y después de la pintura de la facultad proporcionó pistas sobre los colores y motivos recurrentes en su trabajo en ese momento. Incluso las sorpresas que encontraron Smola y Wallner están corroboradas con evidencia histórica. Cuando Klimt mostró sus pinturas por primera vez, los críticos notaron su uso de un rojo que era, en ese momento, raro en la paleta del artista. Pero Las tres edades de la mujer, pintado poco después de las Pinturas de la facultad, usa audazmente un rojo, uno que Smola cree que es el mismo color que causó gran revuelo cuando se vio por primera vez en las Pinturas de la facultad. Los escritos de la época también levantan el tono y el llanto sobre el cielo sorprendentemente verde en otra Pintura de la Facultad. Emparejar estos escritos con el conocimiento de Smola de la paleta particular de verdes de Klimt, cuando se introdujo en el algoritmo, es lo que produjo una de las primeras imágenes sorprendentes de la IA.

“Tan pronto como ves una imagen en blanco y negro, lo primero que haces es imaginar cómo se vería: asumes cosas sobre una pintura; ves el cielo azul ”, dice Wallner. Mientras observaba cómo se generaba la imagen, apareció un misterioso cielo teñido de verde que se arremolinaba en la representación de su pantalla. «Esa fue la parte impactante porque ves tu parcialidad», dice. «Para mí, el primer momento en que vi estas pinturas en color fue como ¡guau, así es como se ve!»

Franz Smola, un experto en Gustav Klimt, y Emil Wallner, un investigador de aprendizaje automático, pasaron seis meses combinando su experiencia para revivir las pinturas de la facultad de Klimt. CORTESÍA DEL PROYECTO KLIMT

KLIMT NO ES EL único trabajo que consigue una resurrección de IA. Como parte de un programa de investigación y conservación en curso llamado Operation Night Watch, Robert Erdmann, científico principal del Rijksmuseum de Ámsterdam, utiliza el aprendizaje automático para resolver un misterio que rodea a la obra maestra de 1642 de Rembrandt van Rijn, The Night Watch. Actualmente, la pintura tiene unos 15 pies de ancho y 12 pies de alto, pero es mucho más pequeña que la original del artista. Se recortó en los cuatro lados en 1715 para encajar en una nueva ubicación (el corte más profundo fue la friolera de dos pies, tomado del lado izquierdo). Las piezas cortadas nunca se encontraron, pero Erdmann esperaba que el aprendizaje automático pudiera decodificar la visión original de Rembrandt para la pintura.

Cuando Erdmann comenzó a desarrollar su plan, su punto de datos más fuerte fue una copia a escala del siglo XVII de Gerrit Lundens, un pintor conocido por sus fieles reproducciones de viejos maestros, que incluía partes del Rembrandt que actualmente faltan. El diseño de Erdmann utilizó una serie de tres redes neuronales. Con el primero, trazó puntos que coincidían visualmente en ambas pinturas. Visto uno al lado del otro, escalado al mismo tamaño, era evidente que el Lunden es fiel al Rembrandt. Sin embargo, cuando Erdmann alternó entre una superposición digital de las dos pinturas, quedó claro cuánta distorsión y estiramiento había en la copia. Ahí es donde entró la segunda red. Deformó la imagen de Lundens, estirándola en algunos lugares y comprimiéndola en otros hasta que desapareció la mayor parte de la distorsión espacial.

Con eso, los Lunden y Rembrandt estaban muy estrechamente alineados. Pero estas siguen siendo dos obras creadas por artistas con estilos propios. Rectificar eso requería un tercer paso, al que Erdmann se refiere como «enviar la red neuronal a la escuela de arte». A través de un proceso llamado retropropagación, la red aprendió a representar a los Lunden al estilo de Rembrandt. Creó iteración tras iteración, acercándose cada vez más hasta que se estabilizó. ¿Fue una combinación perfecta? No, siempre hay una pérdida, un límite en cuanto a lo cerca que puede llegar.

ILLUSTRATION: INEKE DE GRAAFF/RIJKSMUSEUM

COMO TODAS LAS NUEVAS tecnologías, la inteligencia artificial y el aprendizaje automático plantean preguntas sobre el uso y la ética, incluso cuando se trata de obras de arte de décadas de antigüedad. Richard Rinehart, director del Museo de Arte Samek en la Universidad de Bucknell, señala que trabajar con la tecnología siempre ha consistido en determinar nuestros contratos sociales con ella, pero la IA puede ser única en un aspecto. “Hasta ahora, los contratos tecnosociales se han decidido unilateralmente, pero AI puede negociar en su propio nombre”, dice. Sin embargo, la tecnología siempre ha estado en el corazón de la conservación, en las ciencias de los materiales, la química y la ciencia del color. «Incorporar la IA a la mezcla puede indicar un cambio radical potencial», agrega Rinehart, «pero el concepto de aplicar la tecnología al arte es una parte históricamente aceptada de la práctica, con la autocrítica como una parte saludable de esas prácticas».

La autocrítica dentro de la industria es lo que más le gustaría ver al conservador de arte Fino-Radin, pero sus preocupaciones son más profundas. Están entusiasmados con las avenidas creativas que abre esta tecnología, pero temen que se confunda con restauración y conservación. «Llamar a la IA ‘restauración’, llamarlo cualquier cosa que implique que es como devolver la vida a la obra de arte, es un nombre inapropiado, es demasiado simplista», dice Fino-Radin. «Este tipo de trabajo pertenece al campo de lo que se llama Historia del Arte Digital».

Smola y Wallner son conscientes de las críticas y se esfuerzan por explicar el alcance y las limitaciones del proyecto Klimt. «Usamos las fotos como estaban para asegurarnos de no desviarnos demasiado de las pinturas originales», dice Wallner. Erdmann señala que el objetivo detrás de su reconstrucción era que el público viera cómo era la composición original de Rembrandt. “Cuando traduzco de la copia de Lundens al estilo de Rembrandt, la IA no tiene la capacidad de devolver la vida y el genio de Rembrandt a la pintura”, enfatiza. «No estoy tratando de hacer eso. No quiero hacerlo «. Lo que ves hoy en el Rijksmuseum es la pintura recortada, todo lo que queda del Rembrandt original. Las impresiones de la composición extendida se exhibieron solo temporalmente, de junio a octubre de 2021, y se montaron frente a la pintura, no al ras con ella, por lo que no había que confundirlas con el original.}

Rinehart ve ambos proyectos como valiosos casos de estudio sobre cómo la IA se puede utilizar de forma eficaz en el mundo del arte. En lugar de rehuir lo que esta tecnología depara para el futuro, espera una mayor participación de todos: curadores, conservadores, museos y el público. “Lo importante es invitar al público a seguir a los museos a lo largo de ese continuo para que usemos estas instancias para aprender a ver más claramente los matices y la utilidad entre ‘real’ y ‘simulacro’”, dice.

Cuando la tecnología produce respuestas plausibles a misterios ancestrales, ¿disminuye el aura del arte o del artista? Pregúntele al equipo de Google Arts and Culture y su respuesta es un «no» sencillo y pragmático. En todo caso, creen que su trabajo resalta las pinturas de la facultad y aumenta el misterio en torno a Klimt, un pintor revolucionario conocido por la mayoría solo a través de obras de su fase dorada menos rebelde. Con la reconstrucción de la IA de Erdmann, la gente puede ver la visión dinámica y original de Rembrandt para La ronda de noche. Sin duda, esta capacidad de visualizar lo que se pierde es una ganancia neta.

Quizás todo vuelva al aura. La IA puede llenar muchos espacios en blanco de la historia del arte, pero no puede recrear obras maestras. Nada puede. “Aura no ofrece una opción binaria de ‘original auténtico auténtico’ versus ‘artificialidad falsa’”, dice Rinehart. Es posible disfrutar de estar frente a una pintura o mirarla en la pantalla de una computadora, pero son experiencias diferentes y en capas. Lo que importa es lo que sentimos cuando los vemos.

Texto de SUHITA SHIRODKAR publicado originalmente en WIRED el 24 de noviembre de 2021

Traducción YVR

Un comentario

Comenta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s