מודל דיפוזיה

מהו מודל דיפוזיה?

מודל דיפוזיה הוא ארכיטקטורת בינה מלאכותית יוצרת (Generative AI) שמפיקה תמונות על ידי למידה של תהליך הפוך להוספת רעש. במהלך האימון, תמונות נהרסות בהדרגה באמצעות רעש אקראי, והמודל לומד כיצד לבטל כל שלב. בזמן יצירת התמונה, המודל מתחיל מרעש מוחלט ומנקה אותו שלב אחר שלב עד לקבלת תמונה חדשה, בהנחיית טקסט, תמונת רפרנס או שניהם.

מודלי דיפוזיה עומדים בבסיס רוב מחוללי התמונות המתקדמים כיום, כולל מערכות העברת הבגדים המשמשות למדידה וירטואלית מבוססת-תמונה.

איך זה עובד

1. תהליך קדמי (אימון): הוספת רעש לתמונה אמיתית בצעדים קטנים ורבים עד שנותר רק רעש סטטי.
2. תהליך הפוך נלמד: המודל מאומן לחזות את המצב הקודם, הפחות רועש, בכל שלב.
3. יצירה: החל מרעש אקראי, תהליך הסרת הרעש הנלמד מיושם שוב ושוב (בדרך כלל 20–50 שלבים) עד שנוצרת תמונה קוהרנטית.
4. התניה (Conditioning): בכל שלב ניתן לכוון את המודל באמצעות קלטים כגון תמונת בגד, תנוחת גוף או מסכה של האזור המיועד לצביעה מחדש.

התפקיד במדידה וירטואלית

ההתניה היא מה שהופך מחולל תמונות כללי למנוע מדידת בגדים: בהינתן תמונה של אדם, תמונת בגד ומסכת לבוש, המודל מייצר מחדש רק את האזור המסומן (ראו השלמת תמונה - Inpainting) עם מרקם הבד, הקמטים והתאורה התואמים לתמונה המקורית.

המחיר הוא מהירות: היצירה אורכת מספר שניות ודורשת כוח עיבוד גרפי (GPU), ולכן מדידה מבוססת-דיפוזיה מפיקה תמונות סטטיות ולא שכבות וידאו בזמן אמת.

שאלות נפוצות

התשובות לשאלות שלכם.

מדוע מודלי דיפוזיה החליפו את ה-GANs במערכות מדידה וירטואלית?↓

מחקרים מוקדמים בנושא מדידה וירטואלית השתמשו ב-GANs, אך מודלי דיפוזיה התגלו כיציבים יותר לאימון, קלים יותר לשליטה באמצעות התניה וטובים יותר בשחזור טקסטורות עדינות. כל אלה קריטיים כשמדובר בבגדים.