La inteligencia artificial no solo sirve para humillarnos al Go o crear alucinantes (y no tan alucinantes) deepfakes: desde hace un tiempo se ha convertido en una poderosa herramienta para devolvernos al pasado.
Lo demuestran la cada vez mayor cantidad de vídeos restaurados a través de técnicas de inteligencia artificial. Aquellas antiguas grabaciones cobran ahora nueva vida al ser coloreadas y adaptadas a resoluciones 4K, y el resultado es todo un viaje al pasado.
Así era la vida hace (más de) un siglo
Este tipo de vídeos comenzaron a aparecer compartidos en redes sociales recientemente. Hablamos por ejemplo aquel vídeo legendario de los Hermanos Lumière de 1896 que mostraba un tren llegando a la estación. Mostramos el vídeo original remasterizado, el vídeo reescalado y suavizado y, por último, el vídeo también con el color aplicado automáticamente con el desarrollo DeOldify del que hablamos más adelante:
Un programador ruso llamado Denis Shiryaev aplicaba entonces dos tipos de proceso sobre un vídeo ya remasterizado en 2017. El primero, el del escalado 4K a través de la plataforma Gigapixel AI de Topaz Labs. El segundo, un generador de fotogramas interpolados llamado DAIN creado por ingenieros de Google que también generaba esas imágenes para suavizar el vídeo.
Esos mismos resultados se aplicaban luego a otros espectaculares vídeos de Shiryaev, como por ejemplo este alucinante recorrido por las calles de la Nueva York de 1911 a partir de un vídeo remasterizado en 2018 que originalmente capturó la empresa sueca Svenska Biografteatern y que conserva incluso los sonidos de la época.
Como explicaba Shiryaev, además del proceso de 'upscaling' a 4K con una ESRGAN y un suavizado a 60 FPS gracias al citado DAIN usó After Effects y algunos plugins para mejorar la definición y los detalles, y aplicó por último la red neuronal propuesta por un desarrollo llamado DeOlfidy para colorear estas imágenes.
El resultado es sencillamente prodigioso, y este tipo de técnicas han ido aplicándose a más y más vídeos de aquella primera época de la cinematografía.
El propio Shiryaev ofrece unos cuantos espectaculares muy antiguos de vídeos tomados en San Francisco en 1906, Amsterdam en 1922, Inglaterra en 1901 o Moscú en 1896, pero además pero le hace un guiño a los vídeos en blanco y negro más relevantes del pasado algo más reciente con el del paseo en el rover lunar del Apollo 16.
La interpolación que da lugar a ese reescalado o sobreescalado es desde hace tiempo más conocida y los sistemas de inteligencia artificial han ayudado a acelerar y mejorar el proceso, pero las cosas se han puesto aún más interesantes a la hora de colorear esas imágenes y lograr que del blanco y negro pasemos a colores bastante convincentes.
DeOldify crea color donde (casi) no lo había
Jason Antic (https://twitter.com/citnaj), un apasionado del software, comenzó a investigar las llamadas redes generativas antagónicas (GAN) a principios de 2019. Como explicaban en el AI Podcast de NVIDIA, tras completar un curso online en Fast.ai para conocer cómo funcionaban las redes neuronales, inició un proyecto singular: el de tratar de aplicar esta rama de la inteligencia artificial a una tarea muy concreta y convertir imágenes en blanco y negro a imágenes en color.
Su trabajo en este campo acabó dando un resultado espectacular: el proyecto DeOldify —con el código en GitHub para que cualquiera lo use— no solo colorea imágenes, sino que las restaura. No es, desde luego, el único proyecto en este sentido.
El proyecto no solo funciona para imágenes individuales, sino que también es posible aplicarlo a vídeos a través de las llamadas NoGAN, un nuevo tipo de sistema GAN que reduce el entrenamiento de la red neuronal y consigue resultados espectaculares que corrigen errores de la aproximación pura que aplicaba DeOldify.
El resultado de ese trabajo se puede aplicar a todo tipo de vídeos. Durante la conferencia Facebook F8 Antic demostró el resultado aplicado a un pequeño fragmento de la película 'Psicosis' de 1960, pero su aplicación se extiende a todo tipo de imágenes y vídeos, y ha sido aprovechada para —entre otras cosas— transformar esos viejos vídeos de principios del siglo XX y lograr que del blanco y negro logremos disfrutarlos en color con unos resultados sorprendentemente convincentes.
En una larga entrevista en Humans of Machine Learning —no os la perdáis— desvelaba muchas de las claves de su trabajo en este campo. Nunca había tratado de restaurar el color de una foto en Photoshop, por ejemplo, y al estudiar su curso de inteligencia artificial se dio cuenta de que el fallo al colorear imágenes automáticamente es que siempre tenía que haber un humano que las revisaba para ver si estaban bien.
Eso hacía que la red neuronal fuera muy conservadora en sus predicciones, explicaba, pero con las GANs se podía hacer un coloreado realista con mucho menos esfuerzo y que a pesar de ser más "arriesgado" daba resultados mucho mejores. Aún así, destacaba que "no hay un único color válido para muchas cosas (como la ropa, por ejemplo)", de modo que parte del proceso es "arte, y probablemente por eso es difícil lograr que una red neuronal lo haga bien".
Este ámbito también es foco del trabajo de Robert Cross (@RobCross247), un experto en diseño y arquitectura digital que desde hace tiempo mantiene un proyecto en el que transforma viejas fotos de Irlanda en blanco y negro a color con unos resultados fantásticos gracias a DeOldify.
Ese proceso, que hasta no hace mucho se hacía básicamente con programas de postprocesado de imágenes como Photoshop, ha avanzado notablemente gracias a la inteligencia artificial, y otro extenso post en FloydHub analiza el proceso en este caso. Los resultados pueden ser mágicos, pero hay mucha ciencia tras ellos.
Pasar imágenes de blanco y negro a color se ha convertido para algunos en una interesante afición, y de hecho el subrredit Colorization se ha convertido en un singular museo con los resultados que los usuarios que aplican estos procesos logran. Muchos de ellos son impactantes —aunque en muchos las fotos tengan cierto acabado "pictórico"—, y demuestran que esta técnica está ya realmente avanzada.
Un proceso que es en parte todo un arte
Más allá del debate sobre si este proceso traiciona el contenido original o no, lo cierto es que las imágenes que nos ofrecen estos métodos son espectaculares y hacen que esa visita al pasado sea mucho más asumible e impactante para todos los públicos. Acercan esos lugares y esos tiempos más que nunca.
Cities of the world at the beginning of the 20th century (and end of 19th century) Thread/Fil/Hilo #DeOldify Thank you @citnaj
— Joaquim Campa (@JoaquimCampa) 17 de abril de 2020
1. New York City 1911 part. 1 pic.twitter.com/lq75O8r8mu
A pesar de que las técnicas para lograrlo son absolutamente nuevas, su aplicación es casi un pequeño arte en sí mismo. Un fantástico hilo reciente de Joaquim Campa rescataba fantásticos ejemplos del resultado de aplicar algunos de esos procesos en esos vídeos. Muchos de ellos están procesados con desarrollos con DeOldify, pero algunos están incluso retocados a mano. El resultado, en todo caso, es nuevamente mágico.
Como expliac Denis Shiryaev —que presenta su trabajo en Neural.love— en ese vídeo de San Francisco de 1906 (días antes del terrible terremoto que sacudió la ciudad) restaurado, hay unos cuantos componentes en acción en dicha transformación.
- Reducción de ruido: para lograr imágenes sin esos tradicionales artefactos de las películas antiguas.
- Aumento de la definición (sharpening): para mejorar el nivel de detalle y los contornos de todos los elementos mostrados en pantalla.
- Interpolación de fotogramas (FPS boosting): para pasar de 24 o 30 a los 60 fotogramas por segundo que logran esa suavidad de los vídeos, algo que está particularmente bien explicado en este proyecto de Wenbo Bao.
- Coloreado: logrado con DeOldify y que como bien señala no es necesariamente preciso históricamente pero aporta esa transformación de blanco y negro a color.
- Reescalado a 4K: para lograr que los vídeos, capturados en una resolución mucho menor e incluso remasterizados a mayores resoluciones acaben mostrándose en 4K de forma nativa con un resultado espectacular.
- Audio: en muchos de estos vídeos el audio también estaba grabado, pero también es necesario procesarlo para aumentar su calidad y definición.
Cualquiera puede hacerlo (pero una GPU bestial ayuda mucho)
Los algoritmos, como explicaba Shiryaev, son aún lentos y necesitan un hardware potente para procesarse de forma más o menos rápida. Las modernas tarjetas gráficas ayudan cada vez en este ámbito, y de hecho NVIDIA lleva mucho tiempo empujando este tipo de aplicaciones tanto en su anterior familia GTX 1000 como en las nuevas RTX 2000.
El propio Antic lo avisaba en la página de proyecto de DeOldify: para poder realizar estas tareas con cierta soltura es muy recomendable tener una tarjeta gráfica súper potente: él confiesa que le encantaría tener más de los 11 GB de memoria gráfica que tiene en su GeForce 1080 Ti para la fase de entrenamiento, aunque para el coloreado se pueden usar tarjetas más modestas con unos 4 GB de memoria gráfica.
En esa página de GitHub se explica cómo funciona todo el proceso, pero además Antic ha preparado una guía con documentación que permite comenzar a dar los primeros pasos en una tarea que sin duda es sorprendente. Así pues, si queréis animaros ahí tenéis una buena forma de hacerlo.
Imagen | DanielFarjoun