La IA de Samsung Genera Avatares Parlantes Realistas desde una Sola Foto

La IA de Samsung Genera Avatares Parlantes Realistas desde una Sola Foto

• Un nuevo modelo de IA puede fabricar avatares parlantes desde una sola imagen.
• Los desarrolladores aplicaron este modelo a pinturas populares, incluyendo a Leonardo Da Vinci y la Mona Lisa.
• Los resultados tienen algunos fallos visuales, pero son mucho más impresionantes que las técnicas anteriores.

El software para generar deepfakes (una técnica basada en inteligencia artificial para síntesis de imagen humana) requiere grandes conjuntos de imágenes para construir una falsificación realista. Los avances recientes en redes neuronales han mostrado cómo se pueden obtener imágenes humanas altamente realistas entrenando la red en una amplia gama de conjuntos de datos.

Sin embargo, los desarrolladores del centro de investigación de Samsung en Moscú han desarrollado ahora un nuevo modelo de inteligencia artificial (IA) que puede crear avatares parlantes desde una sola imagen. Aunque es posible fabricar un clip de video desde una imagen, entrenarlo con varias fotos resulta en mejor preservación de la identidad y mayor realismo.

Las cabezas parlantes generadas por este modelo pueden manejar varias poses, incluyendo las que van más allá de las capacidades de los sistemas basados en deformación. Puedes encontrar algunos fallos visuales, pero los resultados son mucho más impresionantes comparados con técnicas anteriores. El modelo lleva a la creación de multimedia que finalmente será difícil de distinguir del video real.

Desafíos Involucrados

Fabricar secuencias realistas de avatares parlantes es difícil principalmente por dos razones:

1. Las cabezas humanas tienen alta complejidad cinemática, geométrica y fotométrica. Es necesario modelar con precisión el cabello, los ojos, la cavidad bucal y muchos otros elementos.
2. La agudeza del sistema visual hacia pequeños errores en el modelado de la apariencia de cabezas humanas.

Para abordar estos problemas, el nuevo modelo de IA crea tres redes neuronales durante el proceso de aprendizaje. Construye una red integrada que conecta marcos de puntos de referencia faciales con vectores. Luego construye una red generadora para mapear puntos de referencia en clips sintetizados. En el paso final, la red discriminadora evalúa la pose y el realismo de los marcos.

Referencia: arXiv:1905.08233 | YouTube

Para entender mejor los puntos de referencia y movimientos faciales, los investigadores entrenaron las redes en miles de videos de YouTube de humanos hablando. Los resultados (cabezas parlantes) se compararon luego con redes neuronales alternativas mediante mediciones cuantitativas.

Resultados

El equipo aplicó este modelo en imágenes de muchas figuras populares, como la Mona Lisa, Leonardo Da Vinci y Albert Einstein. La IA fue capaz de fabricar videos parlantes desde una sola imagen, dando vida a retratos clásicos. Solo necesita una foto para crear videos. Sin embargo, un modelo entrenado con 32 imágenes puede lograr una mejor puntuación de personalización y realismo perfecto.

Este tipo de IA puede tener varias aplicaciones prácticas en telepresencia, incluyendo juegos multijugador, videoconferencias, así como industrias de efectos especiales.

Leer: IBM Desarrolla Una IA Que Detecta Escenas En Un Video

En el lado negativo, el rápido desarrollo de estas técnicas podría plantear riesgos de desinformación, suplantación de identidad, fraude y manipulación electoral.