Microsoft Presentar AttnGAN: IA que Convierte Descripciones de Texto en Imágenes Fotorrealistas

• AttnGAN de Microsoft genera imágenes de alta fidelidad desde texto plano y leyendas.
• El sistema emplea arquitectura de dos modelos: generador que crea la imagen y discriminador que evalúa su realismo.
• Añade detalles contextualmente relevantes más allá del prompt, demostrando capa interna de «imaginación».
• Potenciales aplicaciones futuras incluyen producción de animación totalmente automatizada guiada por guiones.

Mientras esfuerzos previos mejoraron síntesis texto-a-imagen, AttnGAN de Microsoft avanza el campo generando imágenes fotorrealistas desde prompts textuales concisos, aprovechando extensa biblioteca de imágenes etiquetadas.

Desarrollado en Microsoft Research, AttnGAN analiza palabras individuales en un prompt para guiar construcción de imagen. Según el equipo, el enfoque entrega aproximadamente tres veces mayor calidad de imagen que modelos state-of-the-art previos.

Proceso Creativo del Bot

Imagina que te piden dibujar un pájaro azul con alas rojas y pico corto. Empezarías con boceto grosso, luego rellenarías colores y detalles. AttnGAN sigue misma lógica, analizando cada palabra para construir imagen detallada y coherente.

El bot puede renderizar cualquier tema —desde gadgets a vida salvaje— y a menudo añade elementos de fondo contextualmente apropiados no mencionados explícitamente, mostrando su capacidad para detalle «imaginado».

Las imágenes se sintetizan píxel a píxel desde cero, permitiendo al modelo crear escenas que pueden no existir en realidad. Esta tarea generativa es inherentemente más compleja que meramente etiquetar foto existente.

Cómo AttnGAN Genera Imágenes

1. Generador: Crea imágenes basadas en descripción textual.
2. Discriminador: Evalúa autenticidad de imagen generada contra descripción.

Ambos modelos se entrenan conjuntamente, permitiendo al generador aprender de retroalimentación del discriminador y lograr fidelidad progresivamente mayor.

El entrenamiento involucró miles de datasets foto-leyenda pareados, enseñando a AttnGAN mapear palabras específicas a patrones visuales. Por ejemplo, la palabra «elefante» dispara al modelo para producir imagen coincidente con apariencia típica de elefante.

El sistema descompone oraciones complejas en palabras individuales, alineando cada palabra con región de la imagen. Durante entrenamiento, también aprende «sentido común artificial» para rellenar detalles faltantes, asegurando composición realista.

En este ejemplo, el prompt solo mencionaba un pájaro. AttnGAN inteligentemente colocó el pájaro en una rama, contexto común real aprendido de sus datos de entrenamiento. Esto demuestra la capacidad del modelo para aplicar conocimiento contextual.

arXiv:1711.10485 – Artículo de investigación Microsoft detallando AttnGAN.

Al desafiarlo para representar un autobús de dos pisos flotando en un lago, el modelo produjo escena borrosa pero reconociblemente mixta, destacando su lucha para reconciliar elementos conflictivos en el prompt.

Rendimiento y Casos de Uso

AttnGAN supera benchmarks previos, logrando mejora 170,25 % en puntuación inception del dataset COCO y ganancia 14,14 % en dataset CUB.

Potenciales aplicaciones incluyen asistentes de boceto para diseñadores de interiores, refinamiento de foto activado por voz, y, con desarrollo adicional, producción de animación totalmente automatizada desde guiones.

Otros Generadores de Arte IA

Microsoft no está solo en fusionar arte e IA. DeepDream de Google creó imágenes psicodélicas mostradas en 2016, mientras su IA produjo música y síntesis de voz como Tacotron 2. Facebook y Nvidia también han lanzado modelos generativos para coches, barcos, animales e incluso avatares sintéticos de celebridades.

Leer sobre IA de voz humana de Google Tacotron 2.