不本质试穿，就能试验各式衣饰，虚拟试衣时间让「QQ秀」升级成了真人版，为时尚行业掀开了新宇宙的大门。

　　然而，现有的虚拟试衣要领正在传神性和细节上的相同性方面还存正在挑衅。固然扩散模子正在造造高品德和确凿感图像方面出现轶群，但正在虚拟试衣等特定场景中，它们正在保护驾御力和相同性方面再有待升高。

　　Outfit Anyone 使用了一种革新的双流条目扩散模子，有用地办理了这些题目，也许精准地统治装束的变形成绩，实行尤其传神的试穿体验。Outfit Anyone 最大的特性是其极强的适宜性和广博的运用边界，不但能调解以适宜分歧的容貌和体形，无论是动画地步照样真人，都可能一键换装。现已绽放试玩。

　　虚拟试衣职业本色是一个条目天生的职业，也即是基于给定一张衣饰图片动作条目输入，驾御天生衣饰正在人身上的试衣图片。今朝的 diffusion model 正在天生的可控性方面做了良多事情，譬喻基于 tuning-based 的要领，如 lora, dreambooth 等，可能实行通过针对某一个或几个观点的样本图片举行针对性磨练衣服，研习对应的某个 concept, 正在天生的流程中可能实行对应 concept 或者物体的天生。然而这种办法往后 finetuning，谋划和工夫本钱高，且难以扩展到多个物体的同时天生。

　　别的一类驾御天生的要领是以 controlnet 为代表，其首要道理是通过 zero-conv 磨练一个插件的搜集，可能实行使用 mask，canny edge, depth 等多种信号驾御最一天生图片的 layout。这种办法的最大的弊正直在于驾御信号与方针图像正在空间上是 align 的，但衣饰与驾御信号和方针图像正在空间散布上有较大的不同，导致无法直策应用，从而束缚了其运用的拓展边界。

　　以是，作家提出了一种新的支柱试衣效用的条目天生搜集，实行衣饰的形变，光照的改观，衣饰新视角改观处境下的天生，同时也许依旧衣饰的纹理，版型，细节的相同性。

　　比拟 lora，dreambooth 等要领的好处是，不再必要针对每个物体举行 finetuning，拥有很强的泛化性，从而可能实行 zero-shot 一键试衣。

　　别的，为了晋升试衣结果具体凿性，作家提出了 refiner 搜集，对衣饰的细节举行晋升，从而也许晋升衣饰的材质、颜色，使其更亲热确凿的试衣成绩。Outfit Anyone 也支柱各式杂乱的衣饰，多样的容貌，以及适配多种体型，使其也许知足用户多样化的试衣需求。

　　近些年，固然模子仍数见不鲜，但模子打算慢慢走向同质化。首要可能分为 3 个局部：

　　正在框架打算上，推敲团队遵命简略有用的规矩，按以上的基本思绪，最初确定了必要何种输入信号，并依照信号的不同化采用分歧的特色交互办法。

　　模特驾御：使用 spatially aligned operation ，自己动作模特图抽取特色实质，与方针图像正在空间对齐。

　　衣饰驾御：自己与模特图空间不行对齐，必要举行形变操作，再通过非线性的操作举行特色统一。

　　靠山、质地等驾御：使用 attention 机造实行语义方针特色与图像特色的统一。

　　目前，基于 Diffusion Model 的天生模子夸大天生实质正在语义层面的对齐性，因而常采用以 CLIP 为代表的图像语义抽取模子举行特色提取，但这关于试衣模子必要保存所输入衣饰的纹理细节冲突。以是，现有基于 CLIP 特色的试衣模子难以切实无缺的还原衣饰自己的特征，采用对衣饰纹理细节可还原 / 天生的搜集为佳。

　　而针关于模特合系的驾御信号，正在磨练时，自己是输入模特图的一种概括信号，可动作输入模特图的一个特色通道，正在统一搜聚集，通过 Channel 维度举行消息整合，并不必要遵命 ControlNet 的打算，特殊加多搜集举行统治，从而肯定水平简化模子布局。

　　基于以上忖量，作家打算了 Outfit Anyone 的模子框架，将多种分歧的输入信号，输入进两个搜集流中，通过统一的办法实行可控天生。

　　作家扩充了现有的公然衣饰数据集，修建了一个大周围的虚拟试衣衣饰数据集。全数数据涵盖了各品种目，包括巨额高质舆图片衣服衣服。别的，为了实行高质地的衣饰还原，作家弥漫地拾掇和提取了衣饰合系的材质属性等消息。

　　站正在衣饰商家的角度，必要以平铺图动作输入，避免必要上身图的特殊条件。但这也正在衣饰上死后的天然度方面临算法提出了更高的条件。

　　Outfit Anyone 支柱平铺图的输入，而且可同时支柱单件或者上下搭配。模子依照模特容貌身段的分歧，相应天生褶皱、光照等细节分歧的衣饰上身成绩，从而实行百变的换装体验。

　　正在时尚海潮的前沿，除了向例版型的衣饰，再有更多有创意的新鲜衣饰。Outfit Anyone 对这类衣饰也能供给很好的支柱。

　　为了使 Outfit Anyone 所天生的试衣图片抵达照相级另表质地，作家进一步基于试衣模子布局开拓了 refiner。可能正在保存衣饰根基 ID 的基本上，明显晋升衣饰的资料质感，模特的皮肤确凿度。

　　原题目：《无尽新衣服零元购，阿里Outfit Anyone实行真人百变换装》无尽新衣服零元购阿里Outfit Anyone告竣真人百变换装