Diffusiemodel

Wat is een diffusiemodel?

Een diffusiemodel is een generatieve AI-architectuur die beelden creëert door te leren hoe een ruisproces kan worden omgekeerd. Tijdens de training worden afbeeldingen geleidelijk vernietigd met willekeurige ruis, en het model leert om elke stap ongedaan te maken. Bij het genereren start het met pure ruis en verwijdert het stap voor stap de ruis om een nieuwe afbeelding te vormen, gestuurd door een tekstprompt, een referentieafbeelding of beide.

Diffusiemodellen vormen de basis van de meeste geavanceerde beeldgeneratoren, inclusief de systemen voor garment transfer die worden gebruikt voor virtueel passen op basis van afbeeldingen.

Hoe het werkt

1. Voorwaarts proces (training): in veel kleine stapjes wordt ruis aan een echte afbeelding toegevoegd totdat er alleen nog maar ruis over is.
2. Aangeleerd omgekeerd proces: het model wordt getraind om bij elke stap de vorige, minder ruizige status te voorspellen.
3. Generatie: beginnend met willekeurige ruis wordt de aangeleerde ruisonderdrukking herhaaldelijk toegepast (meestal 20–50 stappen) totdat een coherente afbeelding ontstaat.
4. Conditionering: bij elke stap kan het model worden gestuurd door input zoals een kledingstuk, een lichaamshouding of een masker van het gebied dat opnieuw moet worden getekend.

Rol bij virtual try-on

Conditionering is wat een algemene beeldgenerator in een try-on engine verandert: met een foto van een persoon, een kledingfoto en een kledingmasker genereert het model alleen het gemaskeerde gebied (zie image inpainting) met stoftextuur, plooien en belichting die passen bij de originele foto.

De keerzijde is snelheid: het genereren duurt enkele seconden en vereist GPU-rekenkracht, wat de reden is dat try-on op basis van diffusie statische beelden produceert in plaats van live video-overlays.

FAQ

Vragen, beantwoord.

Waarom hebben diffusiemodellen GAN's vervangen voor try-ons?↓

Eerder try-on onderzoek gebruikte GAN's, maar diffusiemodellen bleken stabieler te trainen, beter controleerbaar via conditionering en beter in het reproduceren van fijne texturen. Dit is allemaal cruciaal voor kleding.