La nueva IA puede transformar imágenes fijas en animaciones 3D

• El nuevo método de aprendizaje profundo utiliza redes neuronales convolucionales para animar un personaje en 3D a partir de una única imagen fija.
• Puede hacer que un personaje de la imagen salga, se siente, corra o salte en 3D.
• La animación completa se puede ver de forma interactiva en monitores y dispositivos de RV / RA.

En los últimos años, la animación general de los videos ha dado lugar a numerosos efectos creativos. La animación a partir de una sola imagen, en lugar de videos o series de fotos, también ha resultado en efectos fascinantes.

El modelo Skinned Multi-Person Linear (SMPL) y los marcos de aprendizaje profundo han demostrado ser extremadamente útiles para la estimación de poses y formas en 3D a partir de una sola imagen. Hasta ahora, la mayoría de las técnicas de animación de una sola persona se han centrado principalmente en la animación 2D o pseudo-3D.

Recientemente, un equipo de investigación de la Universidad de Washington y Facebook desarrolló una nueva técnica que puede transformar imágenes fijas e imágenes en animaciones 3D. Este método de aprendizaje profundo llamado "Photo Wake-Up" utiliza una red neuronal convolucional (CNN) para animar un personaje en 3D a partir de una única imagen fija.

Dar vida al personaje de primer plano

A diferencia de los cinemagraphs que usan imágenes fijas que se mueven en un orden particular para crear un video, el nuevo sistema toma una sola imagen como entrada y brinda una experiencia 3D completa. Puede hacer que un personaje de la imagen salga, se siente, corra o salte en 3D, y toda la animación se puede ver de forma interactiva en monitores y dispositivos de RV / RA.

Ahora, debe preguntarse cómo funciona este nuevo método. Bueno, se trata de 5 pasos:

1. Ajustar la imagen con un modelo de cuerpo transformable
2. Calcule el mapa de etiquetas corporales
3. Construya una malla paso a paso guiada por el modelo transformable
4. Arme la malla y calcule el peso de la piel de la malla
5. Finalmente, reconstruya las texturas y colóquelas en una imagen de fondo en blanco.

La CNN se basa en un modelo SMPL previamente entrenado y se ejecuta en GPU NVIDIA TITAN. Trabaja en una amplia gama de imágenes frontales, desde carteles y fotografías artísticas hasta fotografías deportivas. Los usuarios pueden incluso editar a la persona en la foto, ver el cuerpo reconstruido en 3D y explorarlo en dispositivos AR; por ejemplo, los usuarios pueden colocar la obra de arte en la pared y caminar alrededor de la animación mientras se reproduce.

Leer:arXiv:1812.02246 | Universidad de Washington

El equipo demostró el algoritmo en imágenes de personajes de dibujos animados, graffiti, Stephen Curry (jugador de la NBA) y pinturas de Picasso. Hasta ahora, han probado la red neuronal en más de 70 imágenes descargadas de Internet.

Comparación y limitaciones

Los investigadores compararon su algoritmo con otros métodos relacionados de vanguardia y evaluaron los resultados con estudios en humanos. Los resultados obtenidos a través de Photo Wake-Up parecían mucho menos distorsionados y más realistas en fotogramas fijos que con otros métodos. Además, estos resultados brindan experiencias reales en 3D que no eran posibles con las técnicas convencionales.

Leer:La nueva inteligencia artificial puede convertir a cualquiera en un bailarín profesional

El algoritmo todavía está lejos de ser perfecto y todavía hay mucho margen de mejora. Por ejemplo, los reflejos y las sombras aún no se han modelado y, a veces, produce una pose 3D incorrecta debido a que la forma de todo el cuerpo parece poco realista. Además, es necesario perfeccionar ciertas oclusiones, como las piernas cruzadas al sentarse.