La IA impulsa la renderización de cabello en 3D en tiempo real con 30.000 mechones

• Los investigadores desarrollan una red neuronal que puede producir una geometría de cabello completa en 3D a partir de una imagen en 2D. 
• La red es capaz de procesar hasta 30.000 mechones de cabello en milisegundos.
• Puede muestrear e interpolar suavemente una variedad de peinados, incluidos ondulados, rizados y lisos. 

Renderizar pelos realistas en máquinas es probablemente la tarea más difícil al digitalizar humanos virtuales. En comparación con otros objetos como los ojos, la nariz y las orejas, el cabello presenta una amplia gama de variaciones de forma y puede ser extremadamente complejo debido al nivel de deformabilidad de cada hebra y su estructura volumétrica.

No es que el sistema existente no pueda generar modelos de cabello 3D de alta calidad, pero normalmente requieren configuraciones de hardware y software específicas, que no son fáciles de implementar. Algunas técnicas modernas utilizan enfoques basados en datos, pero no son viables para aplicaciones y sistemas en tiempo real con espacio de memoria limitado.

Ahora, investigadores de Microsoft, Pinscreen y la Universidad del Sur de California han creado un modelo de aprendizaje profundo que puede producir una geometría capilar completa en 3D a partir de imágenes 2D en tiempo real.

En lugar de sintetizar estructuras en forma de nubes de puntos o rejillas volumétricas, crea directamente el mechón de cabello. Este método es más apropiado para estructuras no múltiples y podría proporcionar mayores detalles y precisión.

Red para el cabello

La red neuronal, lo que llaman HairNet, es capaz de producir y representar continuamente la geometría del cabello en 3D. Puede muestrear e interpolar suavemente una variedad de peinados, incluidos ondulados, rizados y lisos.

La canalización de la red neuronal consta de 3 pasos:preprocesamiento, generación de cabello y reconstrucción.

HairNet contiene un codificador convolucional para extraer características de alto nivel del cabello (en forma de vector) de una imagen 2D, y un decodificador deconvolucional para generar características de 32*32 hebras distribuidas uniformemente en el cuero cabelludo. Estas características de las hebras luego se interpolan en el espacio del cuero cabelludo, que finalmente se representan como una serie de puntos 3D.

Arquitectura de red | Cortesía de investigadores 

Para llevar los peinados renderizados hacia un espacio más plausible, los investigadores introdujeron la "pérdida por reconstrucción" y la "pérdida por colisión" entre un modelo de cuerpo y mechones de cabello. Utilizaron la imagen de entrada como peso para modular su pérdida, lo que mejoró aún más la precisión.

Formación

Los investigadores entrenaron la red neuronal en un gran conjunto de datos que contenía 40.000 peinados y 160.000 imágenes bidimensionales desde puntos de vista aleatorios. Luego, la red aprendió a regenerar cabello en 3D en diferentes estilos, colores y longitudes, a partir de una única foto en 2D.

Representar cabello a partir de una imagen 2D usando HairNet | Cortesía de investigadores 

La IA se entrenó en GPU (unidades de procesamiento gráfico) Nvidia Titan Xp con el marco PyTorch impulsado por la biblioteca de redes neuronales profundas CUDA.

Referencia: arXiv:1806.07467

Puede procesar hasta 30.000 mechones de cabello en milisegundos. Además, puede imitar un vídeo y representar cada hilo, todos interactuando entre sí.

Trabajo futuro

El equipo concluyó que su técnica aún no es perfecta. No puede manejar peinados exóticos como afro, rizado o cortes de pelo. Sin embargo, entrenar la red en conjuntos de datos masivos que contengan más variaciones podría resolver este problema.

Leer:La IA puede poner a cualquiera en cualquier postura | Sintetizando imágenes humanas en poses invisibles

La técnica también falla cuando el cabello está ligeramente ocluido en la imagen dada. Por lo tanto, planean mejorar los conjuntos de datos de entrenamiento en el futuro integrando más oclusión aleatoria.