Diffusiemodel

Wat is een diffusiemodel?

Een diffusiemodel is een generatieve AI-architectuur die afbeeldingen creëert door te leren een ruisproces om te keren. Tijdens de training worden afbeeldingen geleidelijk vernietigd met willekeurige ruis en het model leert om elke stap ongedaan te maken. Tijdens het genereren begint het met pure ruis en verwijdert het stap voor stap ruis om een nieuwe afbeelding te vormen, gestuurd door een tekstprompt, een referentieafbeelding of beide.

Diffusiemodellen vormen de basis voor de meeste geavanceerde afbeeldingsgeneratoren, inclusief de garment transfer systemen die worden gebruikt voor afbeeldingsgebaseerde virtual try-on.

Hoe het werkt

1. Voorwaarts proces (training): er wordt in veel kleine stappen ruis toegevoegd aan een echte afbeelding totdat er alleen nog maar ruis over is.
2. Geleerd omgekeerd proces: het model wordt getraind om bij elke stap de vorige, minder ruizige staat te voorspellen.
3. Generatie: beginnend met willekeurige ruis, wordt de geleerde ruisonderdrukking herhaaldelijk toegepast (meestal 20-50 stappen) totdat er een coherente afbeelding ontstaat.
4. Conditionering: bij elke stap kan het model worden gestuurd door invoer zoals een kledingstuk, een lichaamshouding of een masker van het gebied dat opnieuw moet worden geschilderd.

Rol in virtual try-on

Conditionering is wat een algemene afbeeldingsgenerator verandert in een try-on engine: gegeven een foto van een persoon, een kledingstuk en een kledingmasker, regenereert het model alleen het gemaskeerde gebied (zie image inpainting) met stoftextuur, kreukels en belichting die consistent zijn met de originele foto.

De keerzijde is snelheid: genereren duurt seconden en vereist GPU-rekenkracht, wat de reden is dat op diffusie gebaseerde try-on statische afbeeldingen produceert in plaats van live video-overlays.

FAQ

Vragen, beantwoord.

Waarom hebben diffusiemodellen GAN's vervangen voor try-on?↓

Eerder try-on onderzoek gebruikte GAN's, maar diffusiemodellen bleken stabieler om te trainen, beter controleerbaar door conditionering en beter in het reproduceren van fijne texturen. Dit zijn allemaal belangrijke factoren voor kleding.