画像インペインティング

画像インペインティングとは？

画像インペインティングは、画像の選択された領域を再構築または置換し、残りの部分はそのまま維持するコンピュータビジョン技術です。元々は破損した写真の修復やオブジェクトの削除に使用されていましたが、現在では主に拡散モデルによって実行され、マスクされた領域にコンテキストを認識した新しいコンテンツを生成します。

バーチャル試着において、インペインティングは生成を衣服の領域に限定します。元の写真の顔、髪、背景はピクセル単位で完全に保持され、衣服の領域のみが再生成されます。

試着パイプラインでの仕組み

1. マスク作成: 画像セグメンテーションにより、置き換える衣服のピクセル単位で正確なマスクを生成します。
2. コンテキストのエンコーディング: モデルはマスクの外側にあるすべてのもの（肌の色合い、光の方向、背景など）を分析します。
3. 条件付き再生成: 製品画像と人物のポーズをガイドとして、マスクされた領域が新しい衣服で塗りつぶされます。
4. ブレンディング: マスクのエッジをぼかすことで、再生成された領域が保持されたピクセルに自然に馴染むようにします。

主な課題

• マスクの精度: 袖を見逃すようなマスクでは元の衣服が見えたままになり、大きすぎるマスクは手や髪を不自然に削ってしまいます。
• オクルージョン: 衣服の前にある髪や組んだ腕などは、前面に維持される必要があります。
• 境界のリアルさ: 生成されたピクセルと元のピクセルの間に目に見える継ぎ目があると、特に襟や裾などで違和感が生じます。

FAQ

疑問にお答えします。

インペインティングは「コンテンツに応じた塗りつぶし」と同じですか？↓

アイデアは同じですが、機能が異なります。「コンテンツに応じた塗りつぶし」は周囲のテクスチャをコピーしてオブジェクトを隠しますが、生成型インペインティングは、写真にはなかった衣服など、意味的に正しい新しいコンテンツを合成します。