Modelo de difusión
Una arquitectura de IA generativa que crea imágenes aprendiendo a revertir un proceso gradual de adición de ruido.
¿Qué es un modelo de difusión?
Un modelo de difusión es una arquitectura de IA generativa que crea imágenes aprendiendo a revertir un proceso de adición de ruido. Durante el entrenamiento, las imágenes se destruyen progresivamente con ruido aleatorio y el modelo aprende a deshacer cada paso. En el momento de la generación, comienza desde ruido puro y elimina el ruido paso a paso hasta obtener una nueva imagen, guiado por un prompt de texto, una imagen de referencia o ambos.
Los modelos de difusión sustentan la mayoría de los generadores de imágenes de última generación, incluidos los sistemas de transferencia de prendas utilizados para los probadores virtuales basados en imágenes.
Cómo funciona
- Proceso hacia adelante (entrenamiento): se añade ruido a una imagen real en muchos pasos pequeños hasta que solo queda estática.
- Proceso inverso aprendido: se entrena al modelo para predecir el estado anterior, con menos ruido, en cada paso.
- Generación: a partir de ruido aleatorio, se aplica repetidamente la eliminación de ruido aprendida (generalmente de 20 a 50 pasos) hasta que surge una imagen coherente.
- Condicionamiento: en cada paso, el modelo puede ser guiado por entradas como la imagen de una prenda, la pose del cuerpo o una máscara de la región a repintar.
El papel en el probador virtual
El condicionamiento es lo que convierte un generador de imágenes general en un motor de probador virtual: dada la foto de una persona, la foto de una prenda y una máscara de la ropa, el modelo regenera solo la región enmascarada (ver inpainting de imágenes) con la textura de la tela, las arrugas y la iluminación consistentes con la foto original.
La contrapartida es la velocidad: la generación tarda segundos y requiere cálculo en GPU, razón por la cual los probadores basados en difusión producen imágenes estáticas en lugar de superposiciones de video en vivo.
FAQ
Preguntas, respondidas.
¿Por qué los modelos de difusión reemplazaron a las GAN para los probadores virtuales?↓
Antes, la investigación en probadores virtuales usaba GAN, pero los modelos de difusión demostraron ser más estables de entrenar, más controlables mediante el condicionamiento y mejores para reproducir texturas finas. Todo esto es importante para la ropa.
Términos relacionados
- Inpainting de imágenes
- Regenerar una región enmascarada de una imagen dejando el resto intacto.
- Transferencia de prendas
- El proceso de IA que renderiza una prenda desde una foto del producto a una imagen de una persona.