图像修复与局部重绘 (Image Inpainting)

什么是图像局部重绘（Image Inpainting）？

**图像局部重绘（Image inpainting）**是一项计算机视觉技术，它能在完全保留原图未选中区域的同时，对特定指定区域进行智能修复或替换。这项技术早期主要用于修复破损的老照片以及移除杂物；如今，主流方案大多基于扩散模型，能够在遮罩区域内生成符合整体语境的全新内容。

在虚拟试穿场景中，局部重绘技术将生成范围精确限制在服装区域：原图中的面部、发型以及背景都能做到像素级原样保留，系统仅对衣物所在区域进行重绘替换。

试穿流程中的工作原理

1. 生成遮罩（Mask）：通过图像分割算法，精准提取需要替换的服装像素区域。
2. 编码上下文环境：模型深入分析遮罩之外的所有视觉信息，包括肤色、光源方向以及背景细节。
3. 条件导向生成：结合目标商品图和人物现有姿态，在遮罩区域内重新生成全新的服装质感与褶皱。
4. 边缘融合：对遮罩边缘做羽化处理，使新生成的衣物与保留的原图像素之间自然过渡、天衣无缝。

面临的核心挑战

• 遮罩精度：如果遮罩漏掉了袖子，旧衣服就会穿帮露出来；而如果选区画得过大，则容易误伤手部或发梢。
• 遮挡关系：自然垂落在胸前的发丝或交叠在身前的手臂，必须始终保持在服装的前景层。
• 边缘真实感：生成区域与原始像素之间的拼接缝隙极易露馅，在衣领和下摆等转折处尤为明显。

局部重绘演进简史

时期	技术路线	代表方案
2000年代	基于偏微分方程（PDE）的扩散法：将空洞周围的像素向内平滑扩散	Telea 快速行进法（2004），常用于去除划痕和水印
2009 至 2015	基于图块纹理合成：从图像其他部位寻找匹配的纹理块进行拼贴	PatchMatch（2009），Photoshop“内容识别填充”（2010）的核心底层
2018 至 2021	深度学习模型：训练神经网络填充大面积缺失并还原合理结构	LaMa（2021），在大面积遮罩和规则重复纹理上表现优异
2022年至今	生成式扩散重绘：在文本或参考图像的指引下无中生有创造全新内容	Stable Diffusion 及后续的主流扩散重绘模型

前三代技术的本质，都是去“还原推测”被遮挡处原本可能存在的内容。而生成式局部重绘则具备了真正的创造力，能够直接凭空填入全新物体，这也正是虚拟试穿得以落地的关键：原本空缺的遮罩区域，被替换成了一件原片中从未存在过的全新衣物。

试穿之外的广泛应用

• 杂物消除：抹除画面中多余的路人、杂乱的电线或多余的水印 Logo。
• 老照片修复：自动修补扫描件上的折痕、污渍以及残缺的边角。
• 画面外扩（Outpainting）：与局部重绘相反的操作，向外拓展原图的构图边界。
• 商拍修图：一键更换棚拍背景，或精细消除服装样衣上的折皱瑕疵。

免遮罩替代方案（Mask-free）

近来部分新型试穿架构尝试彻底舍弃显式遮罩：模型直接接收人物原图和商品平铺图，自行判断并修改对应像素。这种方式避开了由遮罩失误带来的问题（如遗漏衣袖或截断手指），但很难严格保证人物五官和复杂背景完全不变。因此，行业内绝大多数高标准工作流依然选择将精密遮罩与生成模型结合使用。

常见问题

常见问题解答。

局部重绘与 Photoshop 的内容识别填充是一回事吗？↓

两者的核心目标类似，但底层能力截然不同。内容识别填充主要通过借用周围现有纹理来消除物体；而生成式局部重绘（Inpainting）则是根据语义合成全新内容，例如凭空为模特穿上一件从未在原图中出现过的衣服。

AI 领域的 Inpainting 究竟是什么意思？↓

在 AI 图像生成中，Inpainting 指的是在完全保留其余画面的前提下，对指定的遮罩区域进行重新生成。扩散模型会参考提示词或目标参考图，生成光影、透视与整体画面完美融合的全新内容并填入选区。