Esta técnica del MIT permite "tocar" los elementos de un vídeo con el máximo realismo

Hace poco hablábamos del cine 3D sin gafas, una idea del MIT para que supone una manera algo más directa de disfrutar de esas proyecciones al no tener que colocarnos nada encima. Pero otro equipo de esta institución ha ido más allá buscando una verdadera interacción con los vídeos, concretamente el que éstos reaccionen con nuestros "toques".

Se trata de Interactive Dynamic Video (IDV), una técnica que ha desarrollado un equipo del CSAIL (Computer Science and Artificial Intelligence Laboratory) con la que se pueden mover elementos que salen en el vídeo a nuestro antojo, o al menos ver cómo éstos se moverían si el toque fuese real y no virtual. La clave está en la vibración de los mismos, porque tanto la técnica como los instrumentos con los que se trabaja son más bien sencillos y podrían aplicarse a clips de YouTube o a juegos de realidad aumentada como Pokémon Go.

Efectos especiales de bajo coste

En los últimos años tenemos ejemplos de grandes trabajos en la industria de los efectos especiales con CGI y otras técnicas. Éstas normalmente requieren muchas jornadas de trabajo (y mucha inversión), y se basan en la creación de objetos y entornos virtuales bien sea en su totalidad o de manera parcial para lograr la integración de objetos 3D. Aquí hemos hablado de algunos casos como el de Juego de Tronos.

Pero lo que plantean con esta técnica es el que dado un vídeo ya hecho (de YouTube, por ejemplo) o bien uno que capturemos con una cámara normal, podamos simular la interacción física dando toques o estirando con el ratón u otra interfaz. En el vídeo vemos ejemplos aplicados a plantas, un muñeco o una superficie de un parque infantil, sobre los cuales podemos posar objetos o personajes virtuales (e incluso nosotros mismos), reaccionando éstos como lo harían en la realidad obedeciendo las leyes de la física en cuanto a flexibilidad de los materiales, desplazamiento y gravedad.

Como podemos ver la técnica se basa en crear un modelo a partir de los patrones de vibración, analizando el clip en distintas frecuencias. Algo que se consigue gracias a una serie de algoritmos que analizan la toma y para los que es suficiente con sólo cinco segundos de vídeo, consiguiendo una predicción muy real del movimiento al aplicar la interacción que sea. Lo explica Abe Davis, estudiante de doctorado en el CSAIL que participa en el proyecto.

Esta técnica nos permite capturar el comportamiento físico de los objetos, lo cual nos proporciona una manera de jugar con ellos en un espacio virtual. Con estos vídeos interactivos podemos predecir cómo responderán los objetos a ciertas fuerzas y explorar nuevas maneras de interactuar con los vídeos.

Aprovechando el tirón de Pikachu también aquí

Esto puede tener una aplicación en la creación de efectos especiales sencillos (nada que ver con las superproducciones que comentábamos) y sobre todo económicos, pero en el MIT no están ajenos a las últimas modas y puede que hayan dado con un filón: la fusión con la realidad aumentada. Y hablar de RA estos días sólo tiene un sinónimo: Pokémon Go. Imagina que sales a tu caza diaria de Pokémon (una de ellas), y de repente aparece un salvaje Squirtle chapoteando una fuente o un Charmander de entre los arbustos, pues eso es justo lo que plantea este equipo:

Pero además del entretenimiento, el equipo de investigadores ve aplicaciones posibles en la arquitectura, pudiendo crear modelos del movimiento de los edificios y otras estructuras ante eventos como un terremoto. Davis explica también que puede ser útil en test de estrés para objetos y sin tampoco olvidar la realidad virtual. Igual que hablábamos de una hipotética aplicación en Pokémon Go, esa interacción realista podría aplicarse en la visualización de vídeos de realidad virtual (echando la caña en este caso a Oculus).

De momento cuentan con el apoyo de varias instituciones para llevar a cabo el proyecto, veremos si Niantic, Oculus u otras compañías ponen interés y en un futuro podemos tener otro nivel de interacción en juegos o entretenimiento multimedia.

Imágenes | Freepik
Vía | MIT News
En Xataka | Cómo se rodó LA escena del 6x09 de 'Juego de Tronos' de la que todo el mundo habla