Diffusionsmodel

Hvad er en diffusionsmodel?

En diffusionsmodel er en generativ AI-arkitektur, der skaber billeder ved at lære at vende en støjproces. Under træningen bliver billeder gradvist ødelagt af tilfældig støj, og modellen lærer at fortryde hvert trin. Når den skal generere, starter den fra ren støj og fjerner støjen trin for trin for at bygge et nyt billede, styret af en tekst-prompt, et referencebillede eller begge dele.

Diffusionsmodeller danner grundlag for de fleste topmoderne billedgeneratorer, herunder de systemer til tøjoverførsel, der bruges til billedbaseret virtuel prøvning af tøj.

Sådan fungerer det

1. Fremadrettet proces (træning): Der tilføjes støj til et ægte billede i mange små trin, indtil der kun er statisk støj tilbage.
2. Indlært omvendt proces: Modellen trænes til at forudsige den tidligere, mindre støjende tilstand ved hvert trin.
3. Generering: Med udgangspunkt i tilfældig støj anvendes den indlærte støjreduktion gentagne gange (typisk 20–50 trin), indtil et sammenhængende billede træder frem.
4. Betingning (Conditioning): Ved hvert trin kan modellen styres af input såsom et billede af tøjet, en kropsholdning eller en maske af det område, der skal tegnes på ny.

Rolle i virtuel prøvning

Betingning er det, der gør en generel billedgenerator til en motor for virtuel prøvning: Givet et billede af en person, et billede af et stykke tøj og en tøjmaske, genskaber modellen kun det maskerede område (se image inpainting) med stoftekstur, folder og lyssætning, der passer til det originale billede.

Kompromiset er hastighed: Genereringen tager sekunder og kræver GPU-computerkraft, hvilket er grunden til, at diffusionsbaseret prøvning producerer statiske billeder i stedet for live video-overlays.

FAQ

Få svar på dine spørgsmål.

Hvorfor erstattede diffusionsmodeller GANs til virtuel prøvning?↓

Tidligere forskning inden for virtuel prøvning brugte GANs, men diffusionsmodeller har vist sig at være mere stabile at træne, nemmere at kontrollere via betingning og bedre til at gengive fine teksturer. Alt dette er afgørende, når det gælder tøj.