Una investigación financiada por la National Science Foundation, UW Animation Research, UW Reality Lab, Facebook, Huawei y Google ha conseguido dar vida a los cuadros y las fotos. Lo ha logrado gracias ha un algoritmo, Photo Wake-Up que puede tomar a una persona de una foto 2D o una obra de arte y hacer que corra, camine o salte del cuadro. El sistema también permite a los usuarios ver la animación en tres dimensiones utilizando herramientas de realidad aumentada. Los investigadores presentarán sus resultados el 19 de junio en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones en Long Beach, California.

Foto histórica animada.

"Este es un problema fundamental muy difícil en la visión por computadora", dijo el coautor Ira Kemelmacher-Shlizerman, profesor asociado de la Escuela de Ciencias de la Computación Paul G. Allen de la Universidad de Washington. "El gran desafío aquí es que la entrada es solo desde una sola posición de la cámara, por lo que parte de la persona es invisible. Nuestro trabajo combina el avance técnico en un problema abierto en el campo con la visualización artística creativa".

"Hay algunos trabajos previos que intentan crear un personaje 3D usando múltiples puntos de vista", dijo el coautor Brian Curless, profesor de la Escuela Allen. Pero la clave en este algoritmo está en la realidad aumentada. "Fue realmente sorprendente que pudiéramos obtener algunos resultados convincentes con solo usar una foto".

The Beatles.

Las aplicaciones de Photo Wake-Up son numerosas, dice el equipo. Los investigadores imaginan que esto podría llevar a una nueva forma para que los jugadores creen avatares que se parezcan a ellos, un método para que los visitantes interactúen con pinturas en un museo de arte, por ejemplo, sentarse a tomar el té con Mona Lisa o algo que permita Niños para dar vida a sus dibujos. Los ejemplos en el trabajo de investigación incluyen animar a Stephen Curry de los Golden State Warriors para que salga de la cancha, a Paul McCartney a saltar de la portada de "¡Ayuda!" Álbum y Matisse "Icarus" para dejar su marco.

Para hacer realidad la magia, Photo Wake-Up comienza identificando a una persona en una imagen y haciendo una máscara del contorno del cuerpo. A partir de ahí, combina una plantilla 3D con la posición del cuerpo del sujeto. Luego, el algoritmo hace algo sorprendente: para deformar la plantilla de modo que realmente se parezca a la persona en la foto, proyecta a la persona 3D de nuevo en 2D.

Jugador de baloncesto

En este momento, Photo Wake-Up funciona mejor con imágenes de personas que miran hacia adelante y puede animar tanto creaciones artísticas como fotografías de personas reales. El algoritmo también puede manejar algunas fotos donde los brazos de las personas bloquean parte de sus cuerpos, pero aún no es capaz de animar a las personas que tienen las piernas cruzadas o que están bloqueando grandes partes de sí mismas. "Photo Wake-Up es una nueva forma de interactuar con las fotos", dijo Weng. "No se puede hacer todo todavía, pero esto es solo el comienzo".