Дифузійна модель

Що таке дифузійна модель?

Дифузійна модель — це архітектура генеративного ШІ, яка створює зображення, навчаючись обертати процес зашумлення. Під час навчання зображення поступово руйнуються випадковим шумом, і модель вчиться скасовувати кожен крок. На етапі генерації вона починає з чистого шуму і крок за кроком усуває його, перетворюючи на нове зображення під керівництвом текстової підказки, референсного зображення або обох.

Дифузійні моделі лежать в основі більшості сучасних генераторів зображень, включаючи системи перенесення одягу, що використовуються для віртуальної примірки на основі зображень.

Як це працює

1. Прямий процес (навчання): шум додається до реального зображення багатьма дрібними кроками, поки не залишиться лише статика.
2. Вивчений зворотний процес: модель навчається передбачати попередній, менш зашумлений стан на кожному кроці.
3. Генерація: починаючи з випадкового шуму, вивчене усунення шуму застосовується багаторазово (зазвичай 20–50 кроків), доки не з'явиться цілісне зображення.
4. Обумовлення (Conditioning): на кожному кроці моделлю можна керувати за допомогою таких вхідних даних, як зображення одягу, поза тіла або маска області для перемальовування.

Роль у віртуальній примірці

Обумовлення — це те, що перетворює загальний генератор зображень на рушій для примірки: отримавши фото людини, фото одягу та маску одягу, модель перегенерує лише замасковану область (див. image inpainting) з текстурою тканини, складками та освітленням, що відповідають оригінальному фото.

Компромісом є швидкість: генерація займає секунди і вимагає обчислень на GPU, саме тому примірка на основі дифузії створює статичні зображення, а не накладання на живе відео.