La IA Impulsa el Renderizado 3D de Cabello en Tiempo Real con 30.000 Hebras

• Investigadores desarrollan una red neuronal que puede producir geometría 3D completa del cabello a partir de imagen 2D.
• La red es capaz de renderizar hasta 30.000 hebras de cabello en milisegundos.
• Puede muestrear e interpolar suavemente variedad de peinados, incluyendo ondulados, rizados y lisos.

Renderizar cabellos realistas en máquinas es probablemente la tarea más difícil al digitalizar humanos virtuales. Comparado con otros objetos como ojos, nariz y orejas, el cabello implica una amplia gama de variaciones de forma y podría ser extremadamente complejo debido al nivel de deformabilidad en cada hebra individual y su estructura volumétrica.

No es que los sistemas existentes no puedan generar modelos 3D de cabello de alta calidad, pero generalmente requieren configuraciones específicas de hardware y software, que no son fácilmente implementables. Algunas técnicas modernas utilizan enfoques basados en datos, pero no son factibles para aplicaciones en tiempo real y sistemas con espacio de memoria limitado.

Ahora, investigadores de Microsoft, Pinscreen y la Universidad del Sur de California han construido un modelo de aprendizaje profundo que puede producir geometría 3D completa del cabello a partir de imágenes 2D en tiempo real.

En lugar de sintetizar estructuras en forma de nubes de puntos o cuadrículas volumétricas, crea la hebra de cabello directamente. Este método es más apropiado para estructuras no-variedad y podría proporcionar mayor detalle y precisión.

HairNet

La red neuronal, a la que llaman HairNet, es capaz de producir y representar continuamente geometría 3D de cabello. Puede muestrear e interpolar suavemente variedad de peinados, incluyendo ondulados, rizados y lisos.

La canalización de la red neuronal consiste en 3 pasos: preprocesamiento, generación de hebra de cabello y reconstrucción.

HairNet contiene un codificador convolucional para extraer características de alto nivel del cabello (en forma de vector) a partir de una imagen 2D, y un decodificador de-convolucional para generar 32x32 características de hebra distribuidas uniformemente en el cuero cabelludo. Estas características de hebra se interpolan luego en el espacio del cuero cabelludo, que finalmente se representan como series de puntos 3D.

Arquitectura de la Red | Cortesía de los investigadores

Para empujar los peinados renderizados hacia un espacio más plausible, los investigadores introdujeron "pérdida de reconstrucción" y "pérdida de colisión" entre un modelo corporal y hebras de cabello. Utilizaron la imagen de entrada como peso para modular su pérdida, lo que mejoró aún más la precisión.

Entrenamiento

Los investigadores entrenaron la red neuronal en un gran conjunto de datos que contenía 40.000 peinados y 160.000 imágenes bidimensionales desde puntos de vista aleatorios. La red luego aprendió a regenerar cabello 3D en diferentes estilos, colores y longitudes, a partir de una sola foto 2D.

Renderizado de cabello a partir de imagen 2D usando HairNet | Cortesía de los investigadores

La IA fue entrenada en GPUs Nvidia Titan Xp (unidades de procesamiento gráfico) con el marco PyTorch impulsado por la biblioteca de redes neuronales profundas CUDA.

Referencia: arXiv:1806.07467

Puede renderizar hasta 30.000 hebras de cabello en milisegundos. Además, puede imitar video y renderizar cada hebra – todas interactuando entre sí.

Trabajo Futuro

El equipo concluyó que su técnica no es perfecta aún. No puede manejar peinados exóticos como afro, rizado apretado o cortes muy cortos. Sin embargo, entrenar la red en conjuntos de datos masivos que contengan más variaciones podría resolver este problema.

Leer: La IA Puede Poner a Cualquiera en Cualquier Pose | Sintetizando Imágenes Humanas en Poses Inéditas

La técnica también falla cuando el cabello está ligeramente oculto en la imagen dada. Por lo tanto, planean mejorar los conjuntos de datos de entrenamiento en el futuro integrando más oclusiones aleatorias.