画像インペインティング

画像の特定部分(マスク領域)だけを再生成し、残りの部分はそのまま保持する技術。

画像インペインティングとは?

**画像インペインティング(Image Inpainting)**は、画像内の選択した領域だけを再構築または置き換え、他の部分はそのまま保持するコンピュータビジョンの技術です。かつては古い写真の修復や不要なオブジェクトの消去に使われていましたが、現在では拡散モデルを用いて、マスクされた領域の周囲の文脈に合った新しいコンテンツを生成して埋める手法が一般的です。

バーチャル試着において、インペインティングは衣服の領域のみを生成対象とします。元の写真の顔や髪、背景はピクセル単位で完全に保持され、衣服の領域だけが新しく生成されます。

インペインティング:元の写真、マスクされた衣服の領域、再生成された結果
インペインティング:元の写真、マスクされた衣服の領域、再生成された結果

バーチャル試着パイプラインでの仕組み

  1. マスクの作成: セグメンテーションによって、置き換える衣服のピクセル単位で正確なマスクを生成します。
  2. コンテキストのエンコード: AIモデルがマスク外の要素(肌の色、光の向き、背景など)を分析します。
  3. 条件付きの再生成: 商品画像や人物のポーズをガイドとして、マスク領域を新しい衣服で自然に埋めます。
  4. ブレンディング: 生成された領域と元のピクセルの境界が滑らかに馴染むよう、マスクの境界をぼかして調整します。

主な課題

  • マスクの精度: 袖の部分がマスクから漏れると元の服が見えたままになり、逆にマスクが広すぎると手や髪の毛まで消えてしまいます。
  • オクルージョン(遮蔽): 衣服の手前にある髪や交差した腕などは、前面に残したままにする必要があります。
  • 境界のリアリティ: 襟や裾などで生成部分と元画像の境界線が不自然だと、合成であることが簡単にわかってしまいます。

インペインティングの簡単な歴史

時代アプローチ例
2000年代偏微分方程式(PDE)に基づく手法:周囲のピクセルを小さな欠損部分に伝播させる傷やテキストの除去に使われたTeleaのFast Marching Method(2004年)
2009〜2015年パッチベースの合成:画像内の他の場所から一致するテクスチャパッチをコピーするPhotoshopの「コンテンツに応じた塗りつぶし(2010年)」の基盤となったPatchMatch(2009年)
2018〜2021年ディープラーニング:大きな欠損を自然な構造で埋めるように学習したモデル大きなマスクや反復パターンに強いLaMa(2021年)
2022年以降生成型拡散インペインティング:テキストや参照画像をガイドとして新しいコンテンツを生成するStable Diffusionやその後の拡散インペインティングモデル

初期から第3世代までの技術は、マスクの裏側に「おそらくあったであろうもの」を再構築するものでした。一方、生成型インペインティングはそこに「新しいもの」を配置できるため、バーチャル試着に活用できます。つまり、元の写真には存在しなかった衣服をマスク領域に生成できるのです。

バーチャル試着以外のインペインティングの活用法

  • オブジェクトの除去: 写真から人物、電線、ロゴなどを消去します。
  • 写真の修復: スキャンした写真のひび割れ、汚れ、欠損部分を補修します。
  • アウトペインティング: 逆の操作で、元の画像の境界線の外側に画像を拡張します。
  • 商品写真の編集: 背景を入れ替えたり、衣服のシワを修正したりします。

マスク不要の代替アプローチ

最新のバーチャル試着システムの中には、明示的なマスク処理を省くものもあります。AIモデルが人物の全身写真と商品画像を受け取り、どのピクセルを変更すべきかを自ら判断します。これにより、マスクの生成エラー(袖の漏れや手の欠損など)は防げますが、顔や背景がそのまま保持される保証が難しくなるため、依然として多くのパイプラインではマスクと生成モデルを組み合わせて使用しています。

FAQ

疑問にお答えします。

インペインティングは「コンテンツに応じた塗りつぶし」と同じですか?↓

基本的なアイデアは同じですが、できることが異なります。「コンテンツに応じた塗りつぶし」は周囲のテクスチャをコピーしてオブジェクトを隠すだけですが、生成型インペインティングは、写真にはなかった衣服など、意味的に正しい新しいコンテンツをゼロから生成します。

AIにおけるインペインティングとは何ですか?↓

AI画像生成におけるインペインティングとは、画像の選択した(マスクされた)部分だけを再生成し、それ以外のすべてを保持する技術です。テキストプロンプトや参照画像をガイドとし、拡散モデルが写真全体の照明や文脈に合った新しいコンテンツでマスク領域を埋めます。

The 30-second version

自社の商品で試してみる。

数分でShopifyにGenlookをインストールし、顧客が購入前に商品をプレビューできるようにしましょう。