La IA genera imágenes realistas de comidas a partir de recetas en texto

Un nuevo sistema de aprendizaje profundo genera automáticamente imágenes a partir de descripciones textuales extensas.

Los investigadores demostraron una red que toma una receta como entrada y construye una imagen desde cero.

Redes Generativas Adversarias Condicionales

Generar imágenes a partir de descripciones visuales cortas es un reto desafiante con numerosas aplicaciones en visión por computadora. Estudios recientes demostraron que las Redes Generativas Adversarias (GAN) pueden sintetizar eficazmente imágenes realistas de alta calidad con baja resolución y variabilidad.

Una contribución reciente de un equipo de la Universidad de Tel Aviv (Israel) acelera la investigación en este campo. Construyeron un modelo de aprendizaje profundo que crea imágenes automáticamente a partir de descripciones textuales.

En particular, demostraron su sistema generando imágenes de comidas terminadas a partir de recetas escritas simples. Para ello, el sistema usa una combinación de Stacked GAN de vanguardia y aprendizaje de incrustaciones cruzadas para recetas e imágenes de comida.

Redes Generativas Adversarias Condicionales

Básicamente, las GANs constan de dos modelos (generador y discriminador) entrenados para competir. El generador sintetiza imágenes similares a la distribución de datos original, mientras el discriminador diferencia entre imágenes originales y sintéticas.

En este trabajo, usaron GANs condicionales donde tanto generador como discriminador deben considerar una condición específica. Propusieron dos técnicas de incrustación: regularización semántica y no semántica. Estas se componen de tres pasos:

1. Incrustación inicial de ingredientes e instrucciones de cocción.
2. Incrustación neuronal combinada de toda la receta.
3. Integración de una pérdida de regularización semántica usando un objetivo de clasificación de alto nivel.

La GAN condicional se entrenó con 52.000 recetas textuales y sus imágenes correspondientes. Se entrenó usando GPUs NVIDIA TITAN X con librería CUDA Deep Neural Network. Una vez entrenada, el sistema construyó imágenes de cómo podría verse la receta a partir de una descripción larga (sin información visual).

Referencia: arXiv:1901.02404 | Universidad de Tel Aviv

Evaluación humana

La red toma una receta como entrada y crea una imagen (desde cero) que refleja mejor la descripción textual. Lo impresionante: el sistema no accede al título de la receta —lo haría demasiado fácil— y el texto es bastante largo, dificultando la tarea incluso para humanos.

Cortesía de los investigadores

Para evaluar mejor las imágenes sintetizadas, el equipo pidió a 30 personas juzgar las imágenes más atractivas en escala 1-5. Presentaron 10 pares correspondientes de imágenes resultantes (elegidos aleatoriamente) generadas por cada técnica de incrustación.

Los resultados mostraron que el método de regularización no semántica supera al semántico produciendo imágenes más vívidas con detalles fotorrealistas. De hecho, algunos encontraron muy difícil diferenciar entre imágenes reales y sintéticas.

Leer: La IA puede generar millones de combinaciones artísticas para resultados fotorrealistas

Además, ambas técnicas lograron producir imágenes de comidas "tipo papilla" (ensaladas, sopas, arroz) pero luchan para crear comidas con forma distintiva (pollo, hamburguesa, bebidas).