השלמת תמונה (Image Inpainting)

מהי השלמת תמונה?

השלמת תמונה (Image inpainting) היא טכניקה בראייה ממוחשבת שמשחזרת או מחליפה אזור נבחר בתמונה, בזמן ששאר חלקי התמונה נותרים ללא שינוי. בעבר השיטה שימשה בעיקר לשחזור תמונות פגומות והסרת עצמים, אך כיום היא מבוצעת לרוב על ידי מודלי דיפוזיה, שממלאים את האזור המוסווה בתוכן חדש המותאם להקשר.

במדידה וירטואלית של Genlook, טכניקת ההשלמה מגבילה את תהליך היצירה לאזור הבגד בלבד: הפנים, השיער והרקע של התמונה המקורית נשמרים ברמת הפיקסל, ורק אזור הבגד נוצר מחדש.

איך זה עובד במערכת מדידה וירטואלית

1. יצירת מסכה: סגמנטציה של תמונה מפיקה מסכה מדויקת ברמת הפיקסל של הבגד המיועד להחלפה.
2. קידוד ההקשר: המודל מנתח את כל מה שנמצא מחוץ למסכה: גוון העור, כיוון התאורה והרקע.
3. יצירה מותנית: האזור המוסווה מתמלא בבגד החדש, בהנחיית תמונת המוצר והתנוחה של האדם.
4. מיזוג: שולי המסכה מרוככים כדי שהאזור שנוצר מחדש ישתלב בצורה חלקה עם הפיקסלים המקוריים ששומרו.

אתגרים מרכזיים

• דיוק המסכה: מסכה שמפספסת שרוול תשאיר חלק מהבגד הישן גלוי; מסכה גדולה מדי תפגע בידיים או בשיער.
• הסתרה (Occlusion): שיער או זרועות שלובות שנמצאים בקדמת הבגד חייבים להישאר בחזית התמונה.
• ריאליזם של הגבולות: קווי תפר גלויים בין הפיקסלים שנוצרו לאלה המקוריים שוברים את האשליה, במיוחד באזורי הצווארון והמכפלת.

שאלות נפוצות

התשובות לשאלות שלכם.

האם השלמת תמונה זהה למילוי מודע לתוכן?↓

הרעיון דומה, אך היכולות שונות. מילוי מודע לתוכן (Content-aware fill) מעתיק טקסטורות סמוכות כדי להסתיר עצם; השלמת תמונה גנרטיבית מסנתזת תוכן חדש ונכון סמנטית, כמו בגד שלא היה קיים בתמונה המקורית.