IA revolucionaria convierte fotos estáticas en animaciones 3D interactivas

Nuevo método de aprendizaje profundo usa redes neuronales convolucionales para animar un personaje en 3D desde una sola imagen fija.

Puede hacer que el personaje de la imagen camine, se siente, corra o salte en 3D.

Toda la animación puede verse interactivamente en monitores y dispositivos VR/AR.

Dando vida al personaje en primer plano

A diferencia de los cinemagraphs que usan imágenes fijas en orden para crear video, el nuevo sistema toma una sola imagen como entrada y proporciona una experiencia 3D completa. Puede hacer que el personaje camine, se siente, corra o salte en 3D, y la animación completa puede verse interactivamente en monitores y dispositivos VR/AR.

¿Cómo funciona este nuevo método? Implica 5 pasos:

1. Ajustar la imagen con un modelo corporal morphable
2. Estimar el mapa de etiquetas corporales
3. Construir una malla paso a paso guiada por el modelo morphable
4. Riggear la malla y estimar pesos de skinning de la malla
5. Finalmente, reconstruir texturas y colocarlas en una imagen de fondo en blanco.

La CNN se basa en un modelo pre-entrenado SMPL y corre en GPUs NVIDIA TITAN. Funciona en amplia gama de imágenes frontales, desde pósters y arte a fotos deportivas. Los usuarios pueden editar la persona en la foto, ver el cuerpo reconstruido en 3D y explorarlo en dispositivos AR, por ejemplo, colocar la obra en la pared y caminar alrededor de la animación mientras se reproduce.

Leer: arXiv:1812.02246 | Universidad de Washington

El equipo demostró el algoritmo en imágenes de personajes de dibujos animados, graffiti, Stephen Curry (jugador NBA) y pinturas de Picasso. Hasta ahora, probaron la red neuronal en más de 70 imágenes descargadas de internet.

Comparación y limitaciones

Los investigadores compararon su algoritmo con otros métodos de vanguardia y evaluaron resultados con estudios humanos. Los resultados vía Photo Wake-Up parecían mucho menos distorsionados y más realistas en fotogramas fijos que otros métodos. Además, proporcionan experiencias 3D reales imposibles con técnicas convencionales.

Leer: Nueva IA puede convertir a cualquiera en bailarín profesional

El algoritmo aún está lejos de ser perfecto y hay mucho margen de mejora. Por ejemplo, reflejos y sombras no se han modelado aún, y a veces produce poses 3D incorrectas haciendo que la forma corporal parezca irreal. También ciertas oclusiones necesitan refinamiento, como piernas cruzadas al sentarse.